[논문 리뷰] Resilience: A Criterion for Learning in the Presence of Arbitrary Outliers

Jacob Steinhardt, Moses Charikar외 1명|arXiv (Cornell University)|2017. 03. 15.

Machine Learning and Algorithms참고 문헌 15인용 수 17

한 줄 요약

이 논문은 임의의 이상치가 존재하는 고차원 데이터에서 강건한 학습을 위한 일반적인 기준으로 내성성(resilience)을 도입한다. 데이터셋이 내성성을 만족한다는 것은, 임의의 큰 부분집합의 평균이 전체 평균에 가까운 것을 의미하며, 이 조건이 성립할 경우, 최대 일정 비율의 데이터가 적대적으로 손상된 상황에서도 평균과 같은 매개변수의 정확한 추정이 가능하다는 것을 보여준다. 주요 기여는 최소한의 가정 하에 유한한 차원에 관계없이 강건한 추정을 가능하게 하는 새로운 이론적 프레임워크를 제공한 것이다. 이는 평균 추정, 분포 학습, 스토하스틱 블록 모델 등에 적용된다.

ABSTRACT

We introduce a criterion, resilience, which allows properties of a dataset (such as its mean or best low rank approximation) to be robustly computed, even in the presence of a large fraction of arbitrary additional data. Resilience is a weaker condition than most other properties considered so far in the literature, and yet enables robust estimation in a broader variety of settings. We provide new information-theoretic results on robust distribution learning, robust estimation of stochastic block models, and robust mean estimation under bounded $k$th moments. We also provide new algorithmic results on robust distribution learning, as well as robust mean estimation in $\ell_p$-norms. Among our proof techniques is a method for pruning a high-dimensional distribution with bounded $1$st moments to a stable "core" with bounded $2$nd moments, which may be of independent interest.

연구 동기 및 목표

• 임의의 이상치가 존재하는 고차원 환경에서 강건한 추정을 가능하게 하는 일반적이고 단순한 기준을 규명하는 것.
• 유한한 k차 모멘트를 가진 분포, 이산 분포, 스토하스틱 블록 모델에 대한 강건한 학습의 정보 이론적 한계를 제공하는 것.
• ℓp-노름에서의 강건한 평균 추정 및 내성성 조건 하에서의 이산 분포 학습을 위한 효율적인 알고리즘을 개발하는 것.
• 자르기 기법을 통해 내성성과 유한한 분산을 가진 안정적 코어의 존재성 사이의 관계를 규명하는 것.
• 이전의 가정보다 더 약하고 더 널리 적용 가능한 조건을 도입함으로써 이전의 강건한 추정 결과들을 통합하고 일반화하는 것.

제안 방법

• 내성성을 데이터셋의 성질로 정의하며, 이는 부분집합의 평균이 전체 평균에 가까운 것을 의미하며, 부분집합의 편차에 대한 노름 기반의 제약 조건으로 수식화된다.
• 최소최대 이중성과 히친키 부등식을 사용하여, 제1모멘트가 유한한 내성성 집합은 제2모멘트가 유한한 코어를 포함함을 증명한다.
• 노름의 강한 볼록성을 활용하여, 분산이 유한한 큰 코어의 존재를 보장함으로써 알고리즘적 응용을 가능하게 한다.
• 코어 추출 기법을 적용하여, ℓp-노름에서의 강건한 평균 추정 및 이산 분포 학습을 위한 효율적인 알고리즘을 유도한다.
• 강화 기법을 사용하여 내성성을 반복적으로 강화함으로써, 초기 데이터가 제1모멘트만 유한한 경우에도 강건성을 확보할 수 있도록 한다.
• 내성성이 적대적 오염에 대한 강건성을 암시하며, 온건한 조건 하에 차원에 독립적인 오차 한계를 확보함을 증명한다.

실험 결과

연구 질문

• RQ1 임의의 이상치가 존재하는 고차원 데이터에서 평균의 강건한 추정을 보장하는 일반적이고 단순한 기준을 제시할 수 있는가?
• RQ2 데이터가 꼬리가 두꺼운가, 고차원적인 특성을 지닌다 하더라도, 오차가 차원에 독립적인 조건에서 강건한 평균 추정을 달성할 수 있는 조건은 무엇인가?
• RQ3 제1모멘트가 유한한 데이터셋을 어떻게 처리하여 분산이 유한한 안정적 코어로 변환할 수 있으며, 이를 통해 효율적인 알고리즘을 설계할 수 있는가?
• RQ4 내성성과 유한한 모멘트 또는 서브가우시안 꼬리와 같은 기존의 강건성 기준 사이의 관계는 무엇인가?
• RQ5 내성성 조건을 활용하여 이산 분포 및 스토하스틱 블록 모델의 강건한 학습을 위한 효율적인 알고리즘을 도출할 수 있는가?

주요 결과

• 내성성은 유한한 k차 모멘트나 서브가우시안성보다 더 약한 조건이지만, 더 넓은 조건 하에서도 강건한 추정을 가능하게 한다.
• 노름이 γ-강하게 볼록한 경우, 제1모멘트가 유한한 임의의 집합에 대해, 원래 집합의 크기의 최소한 절반 이상인 크기의 코어가 존재하며, 이 코어의 분산은 32σ²/γ 이하로 유한하다.
• 기본 분포가 내성성을 만족할 경우, ℓp-노름에서의 강건한 평균 추정은 오차가 O(ε)로 유한한 차원에 관계없이 가능하다.
• 논문은 내성성이 제2모멘트가 유한한 안정적 코어의 존재를 암시함을 증명하며, 이는 알고리즘적 응용을 가능하게 한다.
• 이산 분포의 경우, 내성성 조건 하에서 강건한 학습을 위한 효율적인 다항시간 알고리즘이 달성된다.
• 이 프레임워크는 유한한 k차 모멘트를 가진 분포 및 스토하스틱 블록 모델의 강건한 학습에 대해 새로운 정보 이론적 한계를 제공한다.