[논문 리뷰] Settling the Robust Learnability of Mixtures of Gaussians

Allen Liu, Ankur Moitra|arXiv (Cornell University)|2020. 11. 06.

Machine Learning and Algorithms참고 문헌 48인용 수 6

한 줄 요약

이 논문은 적대적 오염 하에서 임의의 상수 개수의 가우시안 혼합모형을 학습하기 위한 처음으로 증명 가능하게 강건하고 계산적으로 효율적인 알고리즘을 제시한다. 이는 생성 함수에 대한 미분 연산을 통한 차원에 독립적인 다항식 식별 가능성이라는 새로운 기법을 도입하여, 약간의 가정 하에 오차 한계가 $\epsilon^{g(k,A)}$ 비율로 감소하는 소수승(sos) 완화 기법을 실현한다. 혼합 비율과 성분 간 분리 조건에 대해 강건한 성능을 보인다.

ABSTRACT

This work represents a natural coalescence of two important lines of work: learning mixtures of Gaussians and algorithmic robust statistics. In particular we give the first provably robust algorithm for learning mixtures of any constant number of Gaussians. We require only mild assumptions on the mixing weights (bounded fractionality) and that the total variation distance between components is bounded away from zero. At the heart of our algorithm is a new method for proving dimension-independent polynomial identifiability through applying a carefully chosen sequence of differential operations to certain generating functions that not only encode the parameters we would like to learn but also the system of polynomial equations we would like to solve. We show how the symbolic identities we derive can be directly used to analyze a natural sum-of-squares relaxation.

연구 동기 및 목표

• 최대 $\epsilon$ 비율의 표본이 적대적으로 오염된 상황에서 가우시안 혼합모형을 학습하기 위한 강건하고 계산적으로 효율적인 알고리즘을 개발한다.
• 이전 방법들이 데이터 오염에 취약하거나 성분 간 분리 조건이나 혼합 비율의 유한 분수성에 강한 가정을 요구하는 한계를 극복한다.
• 생성 함수에 대한 미분 연산을 통한 새로운 강건한 식별 가능성 프레임워크를 구축하여, 차원에 관계없이 매개변수 복원을 가능하게 한다.
• 소수승 완화 기법을 활용하여, 성분이 거의 겹치는 경우에도 오차 한계가 $\epsilon$ 에 대해 다항식적으로 감소하도록 보장한다.
• 분산과 혼합 비율에 대한 제한적인 가정을 제거함으로써 기존의 강건 통계 및 혼합모형 학습 결과를 통합하고 개선한다.

제안 방법

• 혼합 모형 매개변수와 그 정의 다항식 방정식을 담은 생성 함수에 연속적인 미분 연산자를 적용하여, '강건한 식별 가능성'이라는 새로운 형태의 식별 가능성 개념을 도입한다.
• 이러한 미분 연산에서 유도된 기호 항등식을 활용하여 소수승 완화 기법을 분석함으로써, 오염된 상황에서도 진짜 혼합 구조를 포착할 수 있도록 보장한다.
• 소수승 계층 구조를 적용하여, 대부분의 표본이 혼합모형의 모멘트 조건을 약간 만족하도록 제약 조건을 모델링한다.
• 총변동 거리 기반 클러스터링 서브루틴을 사용하여 너무 가까운 성분을 그룹화하고, 이를 하나의 성분으로 간주함으로써 남은 성분들 간 충분한 분리를 확보한다.
• 가설 검정을 활용하여 출력을 단일 후보 혼합모형으로 줄여 리스트 복원(list-decoding)을 피하면서도 고확률 정확성을 유지한다.
• 표본 복잡도에 대한 한계를 $ (d/\epsilon)^{G(k,A)} $ 로 설정하며, 여기서 $ G(k,A) $ 는 성분 수 $ k $ 와 최소 혼합 비율의 역수 $ A $ 에만 의존하는 함수이다.

실험 결과

연구 질문

• RQ1 성분 간 상수 분리 조건이 없이도, 적대적 오염 하에서 증명 가능하게 강건하고 계산적으로 효율적인 가우시안 혼합모형 학습 알고리즘을 설계할 수 있는가?
• RQ2 성분이 거의 겹치는 경우에도, 혼합 비율과 성분 매개변수에 대해 오차 한계가 $\epsilon$ 에 대해 다항식적으로 감소하는 것이 가능한가?
• RQ3 혼합 비율의 분수성에 대한 제약 조건(즉, 분모가 유한한 분수)을 제거하면서도 강건성과 효율성을 유지할 수 있는가?
• RQ4 생성 함수에 대한 기호 연산을 통해 혼합모형에서 차원에 독립적인 식별 가능성을 달성할 수 있는가?
• RQ5 소수승 프레임워크와 모멘트 기반 식별 가능성의 통합을 통해 최적의 표본 복잡도를 갖는 강건한 학습 알고리즘을 구성할 수 있는가?

주요 결과

• 알고리즘은 혼합 비율과 진짜 성분들 사이의 총변동 거리에 대해 $\epsilon^{g(k,A)}$ 의 오차 한계를 달성하며, 여기서 $g(k,A)$ 는 $k$ 와 $A$ 에만 의존하는 양수 함수이다.
• 표본 복잡도는 $d/\epsilon$ 에 대해 다항식적으로 증가하며, 구체적으로 $ (d/\epsilon)^{G(k,A)} $ 로 표현되며, $G(k,A)$ 는 $k$ 와 $A$ 에만 의존하는 충분히 큰 함수이다.
• 알고리즘은 $\text{poly}(n)$ 시간 내에 실행되며, 최소 0.99 확률로 성공하여, 순열을 제외한 진짜 매개변수와 $\epsilon^{g(k,A)}$ 만큼 가까운 성분과 비율을 출력한다.
• 스케일 기반 병합 전략을 사용하여 성분 간 상수 분리 조건이 필요 없도록 하였으며, 가까운 성분들을 그룹화하고 남은 성분들 간 충분한 분리를 보장한다.
• [BDJ+20a]에서 개선된 클러스터링 서브루틴과 가설 검정을 조합함으로써, 알고리즘이 리스트가 아닌 유일한 혼합모형을 출력함으로써 실용성을 향상시켰다.
• 핵심 기여는 생성 함수에 대한 미분 연산을 통한 새로운 형태의 강건한 식별 가능성으로, 이는 고차원 및 오염된 환경에서 소수승 완화 기법의 분석을 가능하게 한다.