[논문 리뷰] Nonlinear ICA Using Auxiliary Variables and Generalized Contrastive Learning

Aapo Hyvärinen, Hiroaki Sasaki외 1명|arXiv (Cornell University)|2018. 05. 22.

Blind Source Separation Techniques참고 문헌 25인용 수 41

한 줄 요약

이 논문은 보조 변수를 사용하여 식별 가능성을 유도하는 일반적인 비선형 ICA 프레임워크를 제시하고, 잠재 구성 요소를 회복하는 대조학습 기반 추정기를 실험적으로 검증한다.

ABSTRACT

Nonlinear ICA is a fundamental problem for unsupervised representation learning, emphasizing the capacity to recover the underlying latent variables generating the data (i.e., identifiability). Recently, the very first identifiability proofs for nonlinear ICA have been proposed, leveraging the temporal structure of the independent components. Here, we propose a general framework for nonlinear ICA, which, as a special case, can make use of temporal structure. It is based on augmenting the data by an auxiliary variable, such as the time index, the history of the time series, or any other available information. We propose to learn nonlinear ICA by discriminating between true augmented data, or data in which the auxiliary variable has been randomized. This enables the framework to be implemented algorithmically through logistic regression, possibly in a neural network. We provide a comprehensive proof of the identifiability of the model as well as the consistency of our estimation method. The approach not only provides a general theoretical framework combining and generalizing previously proposed nonlinear ICA models and algorithms, but also brings practical advantages.

연구 동기 및 목표

• 보조 변수가 구성요소 분포를 조정하도록 하여 비선형 ICA의 식별 가능성 조건을 통합하고 확장한다.
• 실제 데이터와 무작위로 증가된 데이터를 구분하는 대조적(discrimination) 학습(로지스틱 회귀)에 기반한 실용적 학습 알고리즘을 제공한다.
• 정규성 조건 하에서 추정기의 일관성을 증명하고 일반적인 경우와 조건부 지수분포 소스 가족에 대한 식별 가능성을 확립한다.
• 시간, 이력, 클래스 레이블이 보조 변수로 작용하여 잠재 소스를 복원하는 방법을 보인다.

제안 방법

• 잠재 구성요소 s_i가 관찰 가능한 보조 변수 u에 의존하고 u가 주어진 조건에서 독립적인 비선형 ICA 모델을 정의한다.
• 두 데이터 세트를 (x,u)로 증강한 데이터와 (x,u*)로 증강한 데이터를 만들어 두 데이터 간의 차이를 학습하는 비선형 로지스틱 회귀를 구성한다(여기서 u*는 무작위화됨).
• 숨겨진 표현 h_i(x)와 특징 맵 psi_i를 갖는 회귀 함수 r(x,u)을 사용하여 사후 확률(posteriors)을 추정한다.
• 일반적 규칙성 가정 하에서 추정기의 일관성을 증명하고 일반적 소스 가족과 조건부 지수 소스에 대한 식별 가능성 결과를 도출한다.
• 다양한 정의의 u(시간, 이력, 세그먼트, 클래스 레이블)가 프레임워크에 어떻게 적합하고 TCL, PCL 및 관련 방법과 연결되는지 보인다.

실험 결과

연구 질문

• RQ1 보조 변수 u가 일반 비선형 혼합에 대해 비선형 ICA를 식별 가능하게 만들 수 있는가?
• RQ2 제안된 증강-대조 학습 접근법의 정확한 식별 가능성 및 일관성 조건은 무엇인가?
• RQ3 시간, 이력, 비정상적 세그먼트, 클래스 레이블과 같은 보조 변수의 다양한 선택은 식별 가능성 및 잠재 소스의 실질적 회복에 어떤 영향을 미치는가?
• RQ4 로지스틱 회귀 기반 추정기가 이론에 따라 독립 구성요소를 가역적 구성요소별 비선형 변환까지 회복하는가?
• RQ5 이 프레임워크가 TCL 및 PCL와 같은 기존의 비선형 ICA 접근법과 어떻게 관련되며 일반화하는가?

주요 결과

• 보조 변수를 갖는 일반적인 비선형 ICA 모델은 온화한 매끄러움 및 가변성 조건에서 식별 가능성을 달성한다.
• 증강된 실제 데이터와 무작위 증가를 구분하는 대조 학습을 통해 실용적이고 일관된 추정기가 얻어진다.
• 이 프레임워크는 시간-대조 학습(TCL) 및 순열-대조 학습(PCL)을 특수한 경우로 수용하고 일반화한다.
• 조건부 지수화(case)에서는 TCL과 유사한 선형 무정합이 도출되며, 일반 경우엔 구성요소가 구성요소별 가역 비선형성으로 회복된다.
• 보조 변수로 클래스 레이블을 사용하는 경우 선형 무정합을 피하고 감독/무감독 결합으로 잠재 소스를 회복할 수 있다.
• 시뮬레이션 연구에서 비정상적이고 시간적으로 의존하는 소스에 대해 TCL과 비교할 만한 성능을 보인다.