[논문 리뷰] Measure Transformed Independent Component Analysis

Koby Todros, Alfred O. Hero|arXiv (Cornell University)|2013. 02. 04.

Blind Source Separation Techniques참고 문헌 48인용 수 4

한 줄 요약

이 논문은 관측 데이터의 확률 측도에 구조적 변환을 적용하여 독립 소스의 유일한 분리를 가능하게 하는 새로운 반모수적, 통계 기반 ICA 프레임워크인 측도-변환 독립성 분석(MTICA)을 소개한다. 여러 경험적 측도-변환 공분산 행렬의 근사 동시 대각화를 통해 분리 행렬을 추정함으로써, 지수 또는 가우시안 MT-함수를 사용함으로써, 커널 기반 방법에 비해 복잡도를 감소시키면서도 강건하고 일致된 소스 복원을 달성한다.

ABSTRACT

In this paper we derive a new framework for independent component analysis (ICA), called measure-transformed ICA (MTICA), that is based on applying a structured transform to the probability distribution of the observation vector, i.e., transformation of the probability measure defined on its observation space. By judicious choice of the transform we show that the separation matrix can be uniquely determined via diagonalization of several measure-transformed covariance matrices. In MTICA the separation matrix is estimated via approximate joint diagonalization of several empirical measure-transformed covariance matrices. Unlike kernel based ICA techniques where the transformation is applied repetitively to some affine mappings of the observation vector, in MTICA the transformation is applied only once to the probability distribution of the observations. This results in performance advantages and reduced implementation complexity. Simulations demonstrate the advantages of the proposed approach as compared to other existing state-of-the-art methods for ICA.

연구 동기 및 목표

• 반복적인 데이터 재처리를 피하고 구현 복잡도를 감소시키는 통계 기반 ICA 방법을 개발한다.
• 최대 한 개의 소스만 가우시안일 경우에도, 혼합 행렬의 유일한 식별을 보장한다.
• 피셔- 및 B-강건한 경험적 MT-공분산 추정기의 활용을 통해 이상치 및 분포의 이탈에 대한 강건성을 향상시킨다.
• 탄력적이고 구조적인 측도 변환을 통해 기존 ICA 방법들을 일반화하는 통합 프레임워크를 제공한다.
• 시뮬레이션을 통해 최신 기술 수준의 ICA 기법들에 비해 성능 우수성을 입증한다.

제안 방법

• 비음수 MT-함수(지수 또는 가우시안)를 관측 벡터의 확률 측도에 적용하여 관측 공간 상의 새로운 확률 분포 가족을 유도한다.
• MT-함수와 소스 분포에 대한 함수로서 정의된 측도-변환(MT) 공분산 행렬은 미약한 정칙 조건 하에서 강력하고 피셔-일致함을 입증한다.
• 다양한 테스트 포인트에서 계산된 다수의 경험적 MT-공분산 행렬의 근사 동시 대각화를 통해 분리 행렬을 추정한다.
• 근사적으로 확실히 유일한 해를 확보하기 위해, 단위 l2-구 내에서 i.i.d. 표준 정규 및 균일 변수를 사용해 테스트 포인트를 무작위로 생성한다.
• 가우시안 MT-함수를 사용할 경우, MT-공분산 행렬에서 서로 다른 고유값을 갖는 것이 확률 1로 보장되어, 동일한 조건 하에서 혼합 행렬의 유일한 복원이 가능하다.
• 경험적 MT-공분산의 影향 함수를 분석하여 B-강건성을 확립하고, MT-함수에 대한 충분한 조건을 제시한다.

실험 결과

연구 질문

• RQ1 관측 분포에 구조적 측도 변환을 단 한 번 적용하는 것으로, 일致적이고 유일한 ICA 추정이 가능할 수 있는가?
• RQ2 제안된 MTICA 프레임워크는 커널 기반 ICA 방법에 비해 이상치에 더 강건한가?
• RQ3 MT-함수와 소스 분포에 어떤 조건이 성립할 경우, MT-공분산 대각화를 통해 혼합 행렬이 유일하게 식별 가능한가?
• RQ4 반복적인 데이터 재처리 없이도 블라인드 소스 분리에서 높은 성능을 달성할 수 있는가?
• RQ5 분리 정확도 및 계산 복잡도 측면에서 MTICA는 최신 기술 수준의 ICA 알고리즘과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 MTICA 프레임워크는 최대 한 개의 소스만 가우시안일 경우, 다수의 MT-공분산 행렬의 근사 동시 대각화를 통해 혼합 행렬의 유일한 식별을 보장한다.
• 경험적 MT-공분산 추정기는 강력 일치성과 피셔-일치성을 모두 확보하며, B-강건성 보장에 충분한 조건을 MT-함수에 제시한다.
• 지수 MT-함수를 사용할 경우, MT-공분산 행렬은 모멘트 생성 함수의 헤시안과 일치하며, 이는 Yeredor(2000)의 접근법과 같은 기존 ICA 방법과의 연결 고리를 제공한다.
• 가우시안 MT-함수를 사용할 경우, MT-공분산 행렬은 확률 1로 서로 다른 고유값을 가지며, 동일한 조건 하에서 혼합 행렬의 유일한 복원이 보장된다.
• 시뮬레이션 결과, 비정규성과 무거운 尾를 가진 소스가 존재하는 상황에서 MTICA는 다른 최신 기술 수준의 ICA 기법들보다 분리 정확도와 강건성에서 뛰어난 성능을 보인다.
• 측도 변환을 데이터 투영에 반복적으로 적용하지 않고 한 번만 적용하므로, 커널 기반 ICA에 비해 구현 복잡도가 감소한다.