[논문 리뷰] Provable ICA with Unknown Gaussian Noise, and Implications for Gaussian Mixtures and Autoencoders

Sanjeev Arora, Rong Ge외 2명|arXiv (Cornell University)|2012. 06. 23.

Blind Source Separation Techniques참고 문헌 16인용 수 8

한 줄 요약

이 논문은 알려지지 않은 가우시안 노이즈를 가진 독립성 분석(ICA)에 대해 증명 가능하게 효율적인 알고리즘을 제시한다. 이 알고리즘은 다항 시간 및 표본 복잡도 내에서 혼합 행렬 $A$와 노이즈 공분산 $Σ$를 $⌈\epsilon\u2309$ 오차 이내로 복원한다. 새로운 '준백색화( quasi-whitening)' 단계와 반복적 국소 탐색을 통한 모든 국소 최적해를 찾는 프레임워크를 도입하여, 노이즈 공분산이 알려지지 않은 경우에도 강건한 복원이 가능하도록 한다.

ABSTRACT

We present a new algorithm for Independent Component Analysis (ICA) which has provable performance guarantees. In particular, suppose we are given samples of the form $y = Ax + η$ where $A$ is an unknown $n imes n$ matrix and $x$ is a random variable whose components are independent and have a fourth moment strictly less than that of a standard Gaussian random variable and $η$ is an $n$-dimensional Gaussian random variable with unknown covariance $Σ$: We give an algorithm that provable recovers $A$ and $Σ$ up to an additive $ε$ and whose running time and sample complexity are polynomial in $n$ and $1 / ε$. To accomplish this, we introduce a novel "quasi-whitening" step that may be useful in other contexts in which the covariance of Gaussian noise is not known in advance. We also give a general framework for finding all local optima of a function (given an oracle for approximately finding just one) and this is a crucial step in our algorithm, one that has been overlooked in previous attempts, and allows us to control the accumulation of error when we find the columns of $A$ one by one via local search.

연구 동기 및 목표

• 알려지지 않은 가우시안 노이즈를 가진 ICA에 대해 증명 가능하게 효율적인 알고리즘을 개발하는 것.
• 기존 ICA 방법들이 알려지지 않은 노이즈 상황에서 실패하거나 고차 모멘트에 대한 강력한 가정이 필요로 하는 격차를 메우는 것.
• 표본 $y = Ax + \eta$ 로부터 혼합 행렬 $A$와 노이즈 공분산 $Σ$를 다항 시간 내에 복원하는 것, 여기서 $x$는 서브가우시안 네 번째 모멘트를 가짐.
• 지수적으로 많은 성분을 가진 가우시안 혼합 모델(GMM)을 학습하는 데 이론적 기반을 제공하고, RBM과 같은 깊은 오토에인코더의 분석을 가능하게 하는 것.
• 국소 탐색 방법이 반복적으로 사용될 때, 성분을 하나씩 복원하는 데 있어 체계적으로 분석하고 제어할 수 있음을 보여주는 것.

제안 방법

• 노이즈의 역공분산을 $Σ$에 대한 사전 지식 없이 추정할 수 있는 새로운 '준백색화( quasi-whitening)' 절차를 도입하여 ICA 전처리를 가능하게 한다.
• 단일 최적화 오라클을 사용하여 함수의 모든 국소 최적해를 찾는 일반적 프레임워크를 개발하며, 이는 순차적 성분 복원 중 오차 누적 제어에 핵심적이다.
• 고차 누산수와 네 번째 모멘트를 사용하여 비정규성 방향을 식별함으로써 $A$의 구조를 추정한다.
• 각 열의 $A$를 순차적으로 복원하기 위해 국소 탐색을 적용하며, 순열 및 부호에 대해 정확한 성분으로 수렴하도록 신중하게 설계된 목적 함수를 사용한다.
• 성분의 스케일링을 코딩하는 행렬 $D_A(u)$를 데이터의 경험적 모멘트로부터 추정함으로써, $A$의 회전 및 스케일링에 대해 복원이 가능하게 한다.
• 표본 기반으로 $\mathop{\bf E}[yy^T]$를 추정하여 $\widehat{C}$를 계산한 후, $\widehat{A}\widehat{A}^T$를 빼서 $\widehat{\Sigma}$를 추정함으로써 $\ell_2$-오차 한계를 확보한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 노이즈 공분산 $Σ$를 가진 ICA를 증명 가능하게 해결할 수 있는가?
• RQ2 오차 누적이 다수 성분에 걸쳐 발생하는 것을 방지할 수 있는 국소 탐색 기반의 ICA 알고리즘을 설계할 수 있는가?
• RQ3 모수적 기술로만 $O(n^2)$의 파rameter로 $2^n$개 성분을 가진 가우시안 혼합 모델(GMM)을 효율적으로 학습할 수 있는가?
• RQ4 희박하고 독립적인 성분을 가진 생성 모델 하에서, RBM과 같은 깊은 오토에인코더의 성능을 엄밀하게 분석할 수 있는가?
• RQ5 단일 최적화 오라클만을 사용하여 함수의 모든 국소 최적해를 찾는 일반적 프레임워크를 개발할 수 있는가?

주요 결과

• 알고리즘은 $Σ$가 알려지지 않은 경우에도 $\mathop{\mathrm{poly}}(n, 1/\epsilon)$ 시간 및 표본 복잡도 내에서 $A$와 $Σ$를 $ε$-오차 이내로 복원한다.
• 준백색화 단계는 노이즈 공분산에 대한 사전 지식 없이도 효과적인 전처리를 가능하게 하며, 실세계 ICA 응용에 있어 핵심적인 혁신이다.
• 반복적 국소 탐색을 통한 모든 국소 최적해를 찾는 프레임워크는 오차 누적에 대한 제어를 보장하여, 이전 ICA 방법에서의 핵심적 오missions을 해결한다.
• $A$의 복원 오차는 $O(\gamma \|A\|_2^2 n^{3/2} / \lambda_{\min}(A))$로 유계이며, 여기서 $\gamma$는 성분 복원 정확도를 제어한다.
• $\gamma$가 $\|A\|_2$, $n$, $\lambda_{\min}(A)$에 대해 적절히 선택되면 $Σ$의 오차는 $ε$ 이내로 유계이다.
• 이 방법은 각 성분의 평균이 알려지지 않았고 공통 공분산을 공유하는 $2^n$개 성분을 가진 GMM을 $O(n^2)$개의 파라미터만으로 효율적으로 학습할 수 있게 한다.