[논문 리뷰] The Incomplete Rosetta Stone Problem: Identifiability Results for Multi-View Nonlinear ICA

Luigi Gresele, Paul K. Rubenstein외 3명|arXiv (Cornell University)|2019. 05. 16.

Blind Source Separation Techniques참고 문헌 35인용 수 6

한 줄 요약

이 논문은 여러 개의 충분히 다양한 노이즈가 섞인 시야가 존재할 경우, 독립적인 잠재 소스의 임의의 비선형 혼합을 유일하게 복원할 수 있음을 보여줌으로써 다시보기 비선형 독립성 성분 분석(ICA)의 식별 가능성(identifiability)을 확립한다. 대조 학습과 시야 다양성에 대한 구조적 가정을 활용하여, 저자들은 깊이 신경망이 소스 분포나 혼합 함수에 제한 없이 혼합을 해제할 수 있음을 이론적으로 증명한다.

ABSTRACT

We consider the problem of recovering a common latent source with independent components from multiple views. This applies to settings in which a variable is measured with multiple experimental modalities, and where the goal is to synthesize the disparate measurements into a single unified representation. We consider the case that the observed views are a nonlinear mixing of component-wise corruptions of the sources. When the views are considered separately, this reduces to nonlinear Independent Component Analysis (ICA) for which it is provably impossible to undo the mixing. We present novel identifiability proofs that this is possible when the multiple views are considered jointly, showing that the mixing can theoretically be undone using function approximators such as deep neural networks. In contrast to known identifiability results for nonlinear ICA, we prove that independent latent sources with arbitrary mixing can be recovered as long as multiple, sufficiently different noisy views are available.

연구 동기 및 목표

• 다양한 시야에서 비선형적으로 혼합된 소스가 존재할 때 비선형 ICA에서 식별 가능성의 근본적 과제를 해결한다.
• 동일한 기반 소스의 여러 개의 다양한 시야를 활용하여 단일 시야 비선형 ICA에서 알려진 식별 불가능성 문제를 극복한다.
• 다양한 시야의 공동 분석을 통해 진정한 독립 잠재 소스를 애फ्र린 변환까지 유일하게 복원할 수 있는 이론적 조건을 설정한다.
• 소스 분포 가정이나 혼합 함수 클래스의 제약 없이 작동하는 새로운 식별 가능성 프레임워크를 제공한다.
• 조건부 분포 제약 조건으로 측정된 시야 다양성이 임의의 비선형 혼합에도 불구하고 공통 잠재 소스를 복원하는 데 기여한다.

제안 방법

• 모든 시야가 동일한 독립 잠재 소스의 임의의 매끄럽고 가역적인 변환으로 이루어지는 다시보기 생성 모델을 수립한다.
• 다양한 시야의 결합 분포에 대비 학습을 적용하여 공통 소스 복원 문제를 자기지도 학습 표현 학습 문제로 간주한다.
• 한 시야의 조건부 분포에 대한 구조적 제약을 도입하여 시야 간 충분한 다양성을 보장한다.
• 이러한 다양성 제약 조건 하에서, 깊이 신경망과 같은 함수 근사기구를 사용하여 잠재 소스를 애फ्र린 변환까지 유일하게 복원할 수 있음을 증명한다.
• 잔차 함수 $ R_{m{e},i} $ 가 $ m{s} $ 에 대해 일정해야 한다는 성질을 이용하여, 역혼합 함수가 서로 애फ्र린 조합이 되어야 한다는 결론을 이끌어낸다.
• 모든 시야별 분리 함수 $ m{e}_i $ 는 동일한 선형 변환 $ m{eta} $ 를 공유해야 하며, 이는 소스 복원의 전역 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 동일한 소스의 여러 개의 노이즈가 섞이고 비선형적으로 혼합된 시야만 존재할 경우 비선형 ICA를 식별 가능하게 만들 수 있는가?
• RQ2 시야에 대한 어떤 구조적 가정이 기반 독립 소스의 식별 가능성을 보장하는 데 충분한가?
• RQ3 조건부 분포 제약 조건으로 측정된 시야 다양성이 임의의 비선형 혼합에도 불구하고 진정한 잠재 소스를 복원하는 데 기여하는가?
• RQ4 소스 비정규성 또는 후단 비선형 구조를 가정하지 않고도 대조 학습을 활용하여 다시보기 비선형 ICA 설정에서 식별 가능성을 증명할 수 있는가?
• RQ5 부모 변수나 추가 조건 변수를 관측하지 않고도 다수의 시야의 공동 분포만을 사용하여 잠재 소스를 애फ्र린 변환까지 복원할 수 있는가?

주요 결과

• 논문은 소스 분포나 혼합 함수에 제한 없이도 임의의 비선형 혼합을 가진 독립 잠재 소스를 충분히 다양한 여러 시야로부터 복원할 수 있음을 증명한다.
• 식별 가능성은 한 시야의 조건부 분포가 다른 시야와 충분히 다양할 조건 하에서 달성되며, 이는 복원을 가능하게 하는 구조적 제약 조건으로 작용한다.
• 저자들은 모든 분리 함수 $ m{e}_i $ 가 역혼합 함수 $ m{k}_i^{-1} $ 의 애फ्र린 변환여야 하며, 공통의 $ m{eta} $ 와 $ m{eta}_i $ 를 공유해야 한다는 것을 보여주며, 이는 시야 간 일관성을 보장한다.
• 잔차 함수 $ R_{m{e},i} $ 는 $ m{s} $ 에 대해 일정해야 하며, 이는 $ m{e}_i imes m{k}_i $ 가 애फ्र린이어야 한다는 결론을 이끌어내어 소스의 이론적 복원을 가능하게 한다.
• 증명은 시야에 대한 경험 평균의 수렴에 의존하며, 평균 혼합 행렬 $ m{eta} $ 와 이동항 $ m{eta} $ 가 모순을 피하기 위해 모든 시야에서 동일해야 한다는 것을 보여준다.
• 결과적으로 이는 소스 비정규성이나 혼합 기능의 형태에 대한 가정이 필요 없이, 대신 시야 다양성에 기반한 새로운 다시보기 비선형 ICA 식별 가능성 프레임워크를 수립한다.