[논문 리뷰] Unsupervised feature extraction by time-contrastive learning and nonlinear ICA

Aapo Hyvärinen, Hiroshi Morioka|arXiv (Cornell University)|2016. 12. 05.

Blind Source Separation Techniques참고 문헌 31인용 수 137

한 줄 요약

이 논문은 시간적 비정상성의 특성을 활용하여 의미 있는 특징을 추출하는 새로운 비지도 딥러닝 원리인 시간 대비 학습(TCL)을 소개한다. TCL은 비선형 ICA에서 점별 변환까지의 식별 가능성을 보장함으로써, 비선형 ICA 모델에 대해 엄밀하고 구조적이며 일반적인 식별 가능성 결과를 처음으로 제시한다.

ABSTRACT

Nonlinear independent component analysis (ICA) provides an appealing framework for unsupervised feature learning, but the models proposed so far are not identifiable. Here, we first propose a new intuitive principle of unsupervised deep learning from time series which uses the nonstationary structure of the data. Our learning principle, time-contrastive learning (TCL), finds a representation which allows optimal discrimination of time segments (windows). Surprisingly, we show how TCL can be related to a nonlinear ICA model, when ICA is redefined to include temporal nonstationarities. In particular, we show that TCL combined with linear ICA estimates the nonlinear ICA model up to point-wise transformations of the sources, and this solution is unique — thus providing the first identifiability result for nonlinear ICA which is rigorous, constructive, as well as very general.

연구 동기 및 목표

• 비지도 특징 학습을 위한 기존 비선형 ICA 모델에서의 식별 가능성 부족 문제를 해결하기 위해.
• 시간 시계열 데이터의 비정상성 구조를 활용한 새로운 딥러닝 학습 원리를 개발하기 위해.
• 시간적 비정상성을 포함하는 재정의된 프레임워크 하에서 TCL과 비선형 ICA 간의 연결 고리를 수립하기 위해.
• 비선형 ICA 모델에 대해 엄밀하고 구조적이며 일반적인 식별 가능성 결과를 제시하여, 소스의 점별 변환까지의 고유한 추정을 보장하기 위해.

제안 방법

• 시간 시계열의 서로 다른 시간 세그먼트(윈도우)를 대조하여 표현을 학습하는 시간 대비 학습(TCL)을 제안한다.
• 시간 세그먼트 간의 구분을 장려하면서도 표현의 불변성을 유지하는 대비 목적 함수를 사용한다.
• 비선형 ICA를 재해석하여 시간적 비정상성을 포함함으로써 TCL과 ICA 프레임워크 간의 연결 고리를 가능하게 한다.
• TCL를 선형 ICA와 조합하여 비선형 ICA 모델을 추정함으로써 소스의 점별 변환까지의 식별 가능성을 보장한다.
• 시간 윈도우 간의 분류를 극대화하면서도 구조적 불변성을 유지하는 표현 학습 목표를 활용한다.
• 부드러운 정규성 조건 하에서 해가 유일하다는 것을 입증하여, 비선형 ICA에 대해 처음으로 일반적인 식별 가능성 결과를 확립한다.

실험 결과

연구 질문

• RQ1 시간 시계열의 시간적 비정상성은 새로운 비지도 딥러닝 학습 원리를 창출하는 데 활용될 수 있는가?
• RQ2 ICA가 비정상성을 포함하도록 확장되었을 때, 시간 대비 학습은 비선형 ICA와 어떻게 공식적으로 연결될 수 있는가?
• RQ3 TCL와 선형 ICA의 조합을 통해 도출된 해는 비선형 ICA의 맥락에서 식별 가능한가?
• RQ4 이 프레임워크에서 학습된 표현의 유일성을 보장하는 조건은 무엇인가?
• RQ5 이 방법은 비선형 ICA 모델에 대해 일반적이고 구조적인 방식으로 식별 가능성을 달성할 수 있는가?

주요 결과

• 시간 대비 학습(TCL)은 시간 세그먼트 간의 대비를 통해 시간 시계열의 비정상성 구조를 활용하여 특징을 성공적으로 추출한다.
• TCL는 시간적 비정상성을 포함하는 재정의된 비선형 ICA 모델과 공식적으로 연결된다.
• TCL와 선형 ICA의 조합은 소스의 점별 변환까지의 유일한 해를 비선형 ICA에 대해 제공한다.
• 이 해는 비선형 ICA에서 엄밀하고 구조적이며 일반적인 식별 가능성 결과를 달성한 최초의 사례이다.
• 이 방법은 강력한 이론적 보장을 갖춘 비지도 특징 학습의 새로운 기반을 마련한다.