[논문 리뷰] Projection Pursuit for non-Gaussian Independent Components

Joni Virta, Klaus Nordhausen외 1명|arXiv (Cornell University)|2016. 12. 16.

Blind Source Separation Techniques참고 문헌 3인용 수 14

한 줄 요약

이 논문은 제3모멘트와 제4모멘트의 제곱의 볼록 조합을 투영 지표로 사용하여 고차원 데이터에서 비정규성 독립 성분을 추출하기 위한 투영 추적 방법을 제안한다. 비탈리제이션 기반 및 대칭 추정 방식을 모두 도입하여, 대칭 방식이 비탈리제이션 기반 방식보다 개별 비정규 성분을 더 잘 추출하는 것으로 나타났으며, 신호 차원이 알려진 경우 양쪽 모두가 신호 및 잡음 부분공간을 효과적으로 분離함을 보였다.

ABSTRACT

In independent component analysis it is assumed that the observed random variables are linear combinations of latent, mutually independent random variables called the independent components. Our model further assumes that only the non-Gaussian independent components are of interest, the Gaussian components being treated as noise. In this paper projection pursuit is used to extract the non-Gaussian components and to separate the corresponding signal and noise subspaces. Our choice for the projection index is a convex combination of squared third and fourth cumulants and we estimate the non-Gaussian components either one-by-one (deflation-based approach) or simultaneously (symmetric approach). The properties of both estimates are considered in detail through the corresponding optimization problems, estimating equations, algorithms and asymptotic properties. Various comparisons of the estimates show that the two approaches separate the signal and noise subspaces equally well but the symmetric one is generally better in extracting the individual non-Gaussian components.

연구 동기 및 목표

• 가우시안 잡음이 존재하는 다변량 데이터에서 비정규 독립 성분을 추출하기 위한 강력한 방법을 개발하기 위해.
• 신호 부분공간과 개별 성분을 모두 추정함으로써 독립 성분 분석(ICA)과 비정규 성분 분석(NGCA)의 장점을 융합하기 위해.
• 투영 지표로 제3모멘트의 제곱과 제4모멘트의 제곱의 볼록 조합을 사용하여 성분 추출 정확도를 향상시키기 위해.
• 비탈리제이션 기반 및 대칭 추정 방식의 성능을 신호 부분공간 분리 및 개별 성분 복원 측면에서 비교하기 위해.
• 알려진 신호 차원 d 하에서 제안된 추정기의 점근적 성질 및 일致성 확립하기 위해.

제안 방법

• 비정규성 방향을 탐지하기 위해 제3모멘트와 제4모멘트의 제곱의 볼록 조합을 투영 지표로 사용하는 투영 추적을 수행한다.
• 각 추정 성분을 이전 성분들로부터 직교화함으로써 성분을 순차적으로 추출하는 비탈리제이션 기반 접근법을 적용한다.
• 투영 지표의 공동 최적화를 통해 모든 비정규 성분을 동시에 추정하는 대칭 접근법을 사용한다.
• 모멘트 제약 조건 하에서 모멘트 기반 지표의 최적화를 바탕으로 추정 방정식과 반복 알고리즘을 유도한다.
• 추정기의 아핀 불변성과 점근 정규성을 확립하며, 슬러츠키의 정리와 행렬 미적분을 사용하여 점근 분포를 유도한다.
• 크로네cker 곱 항등식과 블록 대각 행렬 구조 분석을 사용하여 가중 행렬 추정기의 점근 공분산을 특성화한다.

실험 결과

연구 질문

• RQ1 제3모멘트의 제곱과 제4모멘트의 제곱의 볼록 조합은 가우시안 잡음 존재 하에서 비정규 성분을 효과적으로 식별할 수 있는가?
• RQ2 비탈리제이션 기반 및 대칭 접근법은 신호 부분공간과 잡음 부분공간을 어떻게 분리하는가?
• RQ3 비탈리제이션 기반 방식과 대칭 방식 중 어느 것이 개별 비정규 성분의 추정 정확도에서 뛰어난가?
• RQ4 알려진 신호 차원 d 하에서 제안된 추정기의 점근적 성질은 무엇인가?
• RQ5 혼합 신호와 독립적인 가우시안 잡음이 존재하는 실세계 데이터에서 이 방법의 성능은 어떠한가?

주요 결과

• 비탈리제이션 기반 방식과는 달리, 대칭 방식은 개별 비정규 성분의 추출 성능이 더 뛰어나지만, 양쪽 모두가 신호 및 잡음 부분공간을 동일하게 잘 분리함을 확인하였다.
• 가중 행렬 추정기의 점근 공분산 행렬은 잡음 성분에 대해 동일한 블록을 가진 블록 대각 행렬이며, 이는 직교 변환 하에서 회전 불변성을 반영한다.
• 제3모멘트의 제곱과 제4모멘트의 제곱의 볼록 조합을 기반으로 한 투영 지표는 정규성 조건 하에서 비정규 성분의 일致 추정을 보장한다.
• 비탈리제이션 기반 및 대칭 추정기는 점근적으로 신호 부분공간 추정에서 동일한 성능를 보이지만, 순차적 최적화 대비 공동 최적화로 인해 성분별 정확도에서 차이를 보인다.
• 실제 이미지 데이터 예제에서 혼합된 이미지에선 신호가 보이지 않지만, 이 방법은 진짜 신호 성분을 성공적으로 복원하였다.
• 이론적 결과는 추정기의 점근 분포가 잡음 부분공간의 직교 변환에 대해 불변하다는 것을 확인하여, 이 방법의 강건성을 검증하였다.