[논문 리뷰] Outlier-robust moment-estimation via sum-of-squares

Pravesh K. Kothari, David Steurer|arXiv (Cornell University)|2017. 11. 30.

Blind Source Separation Techniques참고 문헌 2인용 수 27

한 줄 요약

이 논문은 적대적 오염 하에 고차원 분포에서 저차수 모멘트의 강건한 추정을 위한 제곱합(based) 알고리즘을 제시한다. 이는 정보 이론적으로 최적의 오차 한계를 갖는 인증 가능하게 서브가우시안 분포에 대해 달성하며, 일반성과 정확도 측면에서 이전 연구를 크게 향상시키며, 강건한 독립 성분 분석 및 혼합 가우시안 분포 학습에 강력한 이론적 보장을 제공한다.

ABSTRACT

We develop efficient algorithms for estimating low-degree moments of unknown distributions in the presence of adversarial outliers. The guarantees of our algorithms improve in many cases significantly over the best previous ones, obtained in recent works of Diakonikolas et al, Lai et al, and Charikar et al. We also show that the guarantees of our algorithms match information-theoretic lower-bounds for the class of distributions we consider. These improved guarantees allow us to give improved algorithms for independent component analysis and learning mixtures of Gaussians in the presence of outliers. Our algorithms are based on a standard sum-of-squares relaxation of the following conceptually-simple optimization problem: Among all distributions whose moments are bounded in the same way as for the unknown distribution, find the one that is closest in statistical distance to the empirical distribution of the adversarially-corrupted sample.

연구 동기 및 목표

• 최대 ε 비율의 표본이 적대적으로 오염된 경우, 알려지지 않은 분포의 저차수 모멘트를 계산적으로 효율적인 알고리즘으로 추정하는 것.
• 이전의 강건한 추정 알고리즘을 향상시키기 위해, 가우시안성 또는 유한 공분산을 요구하는 강력한 분포 가정을 완화하는 것.
• 인증 가능하게 서브가우시안 분포에 대해 추정 오차의 정보 이론적 하한선을 일치시켜 오차 스케일링 측면에서 최적성을 달성하는 것.
• 오염 하에서 신뢰할 수 있는 모멘트 추정을 제공하여 고차원 환경에서 모멘트 기반 방법의 강건한 적용을 가능하게 하는 것.
• 식별 가능성 증명을 효율적인 알고리즘으로 전환함으로써 제곱합 프레임워크를 강건한 모수 추정으로 확장하는 것.

제안 방법

• 모멘트 추정을 의사분포 위의 볼록 최적화 문제로 공식화하여, 모멘트 제약 조건 하에 오염된 경험 분포와의 통계적 거리 최소화를 목표로 한다.
• 후보 모멘트가 알려진 분포의 진짜 모멘트가 갖는 동일한 유계성 성질을 만족하도록 하기 위해 제곱합 근사법을 사용한다.
• 이 방법은 인증 가능 서브가우시안성에 기반한다: 제곱합 증명에 의해 명백히 유도되는 다항부등식을 만족하는 분포.
• 비볼록 문제의 비볼록성을 다루기 위해 의사기대값 프레임워크를 활용하여, 준선형계획법을 통한 효율적 계산을 가능하게 한다.
• 낮은 차수의 제곱합 증명을 구성하여 추정된 모멘트가 진짜 모멘트에 가까운 것을 인증하는 알고리즘.
• 비강건한 모멘트 기반 알고리즘을 강건한 것으로 전환하기 위해, 이 알고리즘의 출력을 입력으로 받아 블랙박스 방식으로 적용한다.

실험 결과

연구 질문

• RQ1 적대적 오염 하에서 정보 이론적으로 최적의 오차율을 달성하는 강건한 모멘트 추정 알고리즘을 설계할 수 있는가?
• RQ2 가우시안성 또는 유한 스펙트럼 노름을 요구하는 강력한 분포 가정을 제거하면서도 강건성과 효율성을 유지할 수 있는가?
• RQ3 제곱합 방법을 얼마나 체계적으로 식별 가능성 증명에서 강건한 추정기로 유도할 수 있는가?
• RQ4 강건한 모멘트 추정의 오차 한계는 오염 비율 ε에 따라 어떻게 스케일링되며, 기존 하한선과 일치할 수 있는가?
• RQ5 강건한 모멘트 추정은 ICA나 가우시안 혼합 분포 학습과 같은 고차원 문제에 대해 새로운 강건한 알고리즘을 가능하게 할 수 있는가?

주요 결과

• 제안된 알고리즘은 인증 가능하게 서브가우시안 분포에 대해 정보 이론적 하한선과 상수 인자 오차 범위 내에서 일치하는 추정 오차를 달성한다.
• 평균 추정의 경우 오차는 Ω(√k ε^{1−1/k}) 스케일을 가지며, 이는 오직 k차 모멘트에서만 다름이 있는 두 분포의 구성에 의해 도출된 하한선과 일치한다.
• 공분산 및 고차수 모멘트의 경우, 두 번째 모멘트에 대해 오차는 Ω(k ε^{1−2/k})이며, 2r차 모멘트에 대해선 Ω(k^r ε^{1−2r/k})로 스케일링되며, 이는 레마 7.2의 하한선과 일치한다.
• 이전 방법이 이러한 가정을 요구했던 것과 달리, 이 방법은 비가우시안 및 비생산형 분포에도 적용 가능하다.
• 이전 방법이 실패하는 조건수에 악영향을 받는 변환 하에서도 강건한 독립 성분 분석을 가능하게 한다.
• 이 알고리즘은 많은 수의 성분과 분리되지 않은 평균을 갖는 구형 가우시안 혼합 분포에 대해서도 강건성을 확보하며, 이는 이전 접근법의 한계를 극복한다.