[논문 리뷰] Blind Signal Separation in the Presence of Gaussian Noise

Mikhail A. Belkin, Luis Rademacher외 1명|arXiv (Cornell University)|2012. 11. 07.

Blind Source Separation Techniques참고 문헌 17인용 수 10

한 줄 요약

이 논문은 관측 신호가 독립된 소스의 선형 혼합에 추가적인 가우시안 노이즈가 첨가된 노이즈가 많은 환경에서 강건한 블라인드 신호 분리 알고리즘을 제안한다. 노이즈가 있음에도 불구하고 기저 신호를 비상관화하기 위해 고차 누적량 텐서를 활용함으로써, 다항식 샘플 복잡도와 제한된 오차 전파를 보장하는 명시적인 정확도를 갖는 독립성 성분 분석을 가능하게 한다.

ABSTRACT

A prototypical blind signal separation problem is the so-called cocktail party problem, with n people talking simultaneously and n different microphones within a room. The goal is to recover each speech signal from the microphone inputs. Mathematically this can be modeled by assuming that we are given samples from an n-dimensional random variable X=AS, where S is a vector whose coordinates are independent random variables corresponding to each speaker. The objective is to recover the matrix A^{-1} given random samples from X. A range of techniques collectively known as Independent Component Analysis (ICA) have been proposed to address this problem in the signal processing and machine learning literature. Many of these techniques are based on using the kurtosis or other cumulants to recover the components. In this paper we propose a new algorithm for solving the blind signal separation problem in the presence of additive Gaussian noise, when we are given samples from X=AS+η, where ηis drawn from an unknown, not necessarily spherical n-dimensional Gaussian distribution. Our approach is based on a method for decorrelating a sample with additive Gaussian noise under the assumption that the underlying distribution is a linear transformation of a distribution with independent components. Our decorrelation routine is based on the properties of cumulant tensors and can be combined with any standard cumulant-based method for ICA to get an algorithm that is provably robust in the presence of Gaussian noise. We derive polynomial bounds for the sample complexity and error propagation of our method.

연구 동기 및 목표

• 관측 신호가 알려지지 않은 비구형 가우시안 노이즈에 의해 오염된 경우 블라인드 신호 분리의 과제를 해결한다.
• 노이즈 환경에서 표준 PCA 기반 화이트닝이 실패하는 문제를 해결하기 위해 노이즈에 영향을 받지 않는 비상관화 절차를 개발한다.
• 카우티시스 기반 최적화 프레임워크를 유지함으로써 노이즈 환경에서도 신뢰할 수 있는 독립성 성분 분석(ICA)을 가능하게 한다.
• 제안된 비상관화 방법에 대한 샘플 복잡도와 오차 전파에 대한 이론적 보장을 제공한다.
• 노이즈가 공분산 구조를 오염시켜도 진짜 독립성 성분 기저를 근사하는 준화이트닝 변환을 개발한다.

제안 방법

• 관측 데이터의 네 번째 차수 누적량 텐서를 사용하여 노이즈가 있는 공분산 행렬에 의존하지 않고 기저 신호 구조를 추정한다.
• 샘플에서의 경험적 누적량 텐서를 사용하여 독립 성분의 공분산의 역행렬을 근사하는 행렬 $ Y $ 를 구성한다.
• 행렬 $ Y $ 에 행렬 역행렬 절차를 적용하여 진짜 신호 성분을 비상관화하는 근사 준화이트닝 행렬 $ \hat{B}^{-1} $ 를 구한다.
• 독립 성분 기저에서 $ \hat{B}^{-1}A $ 가 근사적으로 대각행렬이 되도록 보장함으로써, 이후 카우티시스 최적화를 통한 ICA 가 가능하게 한다.
• 집중 부등식을 사용하여 누적량 텐서의 추정 오차를 유계하고 다항식 샘플 복잡도 유계를 도출한다.
• 제안된 비상관화 단계를 어떤 표준 누적량 기반 ICA 알고리즘과도 조합하여, 노이즈 하에서도 그 이론적 보장을 유지한다.

실험 결과

연구 질문

• RQ1 알 수 없는 비구형 가우시안 노이즈가 존재하는 상황에서도 효과적인 비상관화 절차를 설계할 수 있는가?
• RQ2 공분산 행렬이 노이즈에 의해 오염되었을 때 네 번째 차수 누적량 텐서는 어떻게 독립 성분 구조를 복원하는 데 사용될 수 있는가?
• RQ3 가우시안 노이즈 하에서 원하는 정확도를 달성하기 위해 필요한 샘플 복잡도는 얼마인가?
• RQ4 입력 데이터가 노이즈에 의해 오염되었을 때 카우티시스 기반 ICA 프레임워크를 유지하고 강건하게 만들 수 있는가?
• RQ5 제안된 방법의 오차 전파 유계는 무엇이며, 노이즈 수준과 신호 특성에 따라 어떻게 척도가 변하는가?

주요 결과

• 제안된 방법은 $ \epsilon $-정확도를 확률 $ 1 - \delta $ 로 달성하기 위해 샘플 복잡도 $ O\left(n^{10} \frac{\kappa(A)^{16} \kappa_{\max}^2}{\epsilon^2 \delta \kappa_{\min}^4} \left(\mu_8 + \frac{\sigma^{8}_{\boldsymbol{\eta}}}{\sigma_{\min}(A)^8}\right)\right) $ 를 갖는다.
• 추정된 준화이트닝 행렬 $ \hat{B}^{-1} $ 의 오차는 $ \| \hat{B}^{-1}A \mathbf{e}_i \|_2 \in (1 \pm \epsilon/2) \| A_i \|_2 $ 를 만족하여 변환된 성분 간의 거의 수직성(orthogonality)을 보장한다.
• 서로 다른 성분 간의 내적은 $ \left| \frac{\langle \hat{B}^{-1}A\mathbf{e}_i, \hat{B}^{-1}A\mathbf{e}_j \rangle}{\| \hat{B}^{-1}A\mathbf{e}_i \|_2 \| \hat{B}^{-1}A\mathbf{e}_j \|_2} \right| \leq \epsilon $ 를 만족하여 거의 상관성이 없음을 확인한다 ($ i \neq j $).
• 카우티시스가 추가 가우시안 노이즈에 대해 불변이므로 이 방법은 비구형 가우시안 노이즈에 강건하며, 표준 ICA 단계가 그대로 유효하다.
• 누적량 기반 행렬 $ Y $ 의 역행렬 오차 유계는 $ O\left( \frac{n^3 \kappa(A)^8 \kappa_{\max}}{\kappa_{\min}^2} \eta \right) $ 로 표현되며, 여기서 $ \eta $ 는 추정 오차를 제어한다.
• 분석 결과, 기저 소스 분포가 독립된 성분을 갖는 한, 노이즈 공분산이 알려지지 않았거나 비등방성일지라도 이 방법은 여전히 효과가 있음을 보여준다.