[논문 리뷰] Overcomplete Independent Component Analysis via SDP

Anastasia Podosinnikova, Amelia Perry외 4명|arXiv (Cornell University)|2019. 01. 24.

Blind Source Separation Techniques참고 문헌 36인용 수 8

한 줄 요약

이 논문은 소스 수 $k$가 관측 차원 $p$를 초과하는 초과완성 독립성 분석(ICA)을 위한 새로운 알고리즘인 OverICA를 제안한다. 이 알고리즘은 첨도 생성 함수의 헤시안을 추정하고, 반정형계획법(SDP) 근사를 투영된 가속화된 경사하강법으로 해결하여, 랜덤 소스 가정 하에 $k < (2 - \varepsilon)p\log p$ 일 때 혼합 성분을 높은 확률로 복원한다. 또한 합성 데이터와 CIFAR-10 데이터에서 실용적인 성능을 보여준다.

ABSTRACT

We present a novel algorithm for overcomplete independent components analysis (ICA), where the number of latent sources k exceeds the dimension p of observed variables. Previous algorithms either suffer from high computational complexity or make strong assumptions about the form of the mixing matrix. Our algorithm does not make any sparsity assumption yet enjoys favorable computational and theoretical properties. Our algorithm consists of two main steps: (a) estimation of the Hessians of the cumulant generating function (as opposed to the fourth and higher order cumulants used by most algorithms) and (b) a novel semi-definite programming (SDP) relaxation for recovering a mixing component. We show that this relaxation can be efficiently solved with a projected accelerated gradient descent method, which makes the whole algorithm computationally practical. Moreover, we conjecture that the proposed program recovers a mixing component at the rate k &lt; p^2/4 and prove that a mixing component can be recovered with high probability when k &lt; (2 - epsilon) p log p when the original components are sampled uniformly at random on the hyper sphere. Experiments are provided on synthetic data and the CIFAR-10 dataset of real images.

연구 동기 및 목표

• 스parseness 가정이 없는 조건에서 $k > p$인 초과완성 ICA 문제에 도전한다.
• 초과완성 ICA에서 혼합 행렬 $D$를 복원하기 위한 계산적으로 효율적이고 이론적으로 타당한 알고리즘을 개발한다.
• 이론적 보장이 강한 알고리즘과 실용적인 계산 가능성을 갖춘 알고리즘 간 격차를 메운다.
• 스parseness나 혼합 행렬의 특정 비모수적 형태를 가정하지 않는 방법을 제공한다.

제안 방법

• 고차원 첨도의 추정에 의존하는 대신, 첨도 생성 함수의 헤시안을 핵심 통계량으로 사용한다.
• 개별 혼합 성분을 복원하기 위한 새로운 반정형계획법(SDP) 근사를 제안한다.
• 계산 효율성을 확보하기 위해 SDP를 투영된 가속화된 경사하강법으로 해결한다.
• 첫 번째 단계의 입력으로 일반화된 공분산 또는 네차항 첨도를 사용하며, OverICA의 경우 $s = 10k$로 설정한다.
• 스parseness나 특정 소스 분포를 가정하지 않고, 소스의 독립성과 비정규성을 활용한다.
• 성능 검증을 위해 합성 데이터와 CIFAR-10의 실제 이미지를 모두 적용한다.

실험 결과

연구 질문

• RQ1 스parseness 가정 없이 실용적이고 이론적으로 타당한 알고리즘이 초과완성 ICA에서 혼합 행렬을 복원할 수 있는가?
• RQ2 제안된 SDP 기반 방법의 이론적 복원 임계값은 $k$와 $p$의 관계로 어떻게 표현되는가?
• RQ3 정확도와 런타임 측면에서 FOOBI 및 푸리에 PCA와 비교해 복원 성능가 어떻게 다른가?
• RQ4 소스가 초구면에서 균일 임의로 샘플링될 경우, 알고리즘이 혼합 성분을 높은 확률로 복원할 수 있는가?

주요 결과

• 소스가 초구면에서 균일 임의로 샘플링될 경우, 제안된 SDP 근사는 $k < (2 - \varepsilon)p\log p$ 일 때 혼합 성분을 높은 확률로 복원한다.
• 추측에 기반해 $k < p^2/4$ 의 속도로 복원이 가능함을 보여 이론적 확장성의 강도를 입증한다.
• 실험 결과, OverICA는 FOOBI와 유사한 f- 및 a-오차를 기록하지만, 합성 데이터에서 뚜렷한 런타임 성능 향상을 보였다.
• CIFAR-10에서 OverICA는 의미 있는 특징을 성공적으로 복원하여 실세계 이미지 데이터에서의 실용적 유용성을 입증했다.
• OverICA의 런타임은 주로 첫 번째 단계(헤시안 또는 첨도 추정)에 의해 지배되지만, FISTA를 통한 효율적 SDP 해법 덕분에 전체 알고리즘이 실용적이다.
• 정규화된 복원 벡터는 다수의 실행에서 성분을 일관되게 복원하며, $k$가 작을수록 높은 정확도를 보이고, $k$가 증가함에 따라 점진적으로 감소한다.