[논문 리뷰] Towards Principled Unsupervised Learning

Ilya Sutskever, Rafał Józefowicz외 4명|arXiv (Cornell University)|2015. 11. 19.

Topic Modeling참고 문헌 21인용 수 21

한 줄 요약

이 논문은 예측 분포를 진짜 레이블 분포와 일치시켜 지도 학습 목표와 일관성을 유지하는 원칙적인 비지도 손실 함수인 출력 분포 매칭(ODM)을 소개한다. 비라벨된 입력과 출력을 사용하여 ODM을 최적화함으로써, 라벨이 극히 적은 경우에도 지도 학습 성능을 향상시키고, 외부 분포에서 나온 테스트 샘플로부터 입력을 재구성함으로써 일회성 도메인 적응을 가능하게 한다.

ABSTRACT

General unsupervised learning is a long-standing conceptual problem in machine learning. Supervised learning is successful because it can be solved by the minimization of the training error cost function. Unsupervised learning is not as successful, because the unsupervised objective may be unrelated to the supervised task of interest. For an example, density modelling and reconstruction have often been used for unsupervised learning, but they did not produced the sought-after performance gains, because they have no knowledge of the supervised tasks. In this paper, we present an unsupervised cost function which we name the Output Distribution Matching (ODM) cost, which measures a divergence between the distribution of predictions and distributions of labels. The ODM cost is appealing because it is consistent with the supervised cost in the following sense: a perfect supervised classifier is also perfect according to the ODM cost. Therefore, by aggressively optimizing the ODM cost, we are almost guaranteed to improve our supervised performance whenever the space of possible predictions is exponentially large. We demonstrate that the ODM cost works well on number of small and semi-artificial datasets using no (or almost no) labelled training cases. Finally, we show that the ODM cost can be used for one-shot domain adaptation, which allows the model to classify inputs that differ from the input distribution in significant ways without the need for prior exposure to the new domain.

연구 동기 및 목표

• 지도 학습 목표와 일치하는 원칙적인 비지도 손실 함수의 부족을 해결하기 위해.
• 광범위한 라벨 데이터가 필요로 하지 않는 비지도 목표를 개발하여 일반화 성능과 지도 학습 성능을 향상시키기 위해.
• 외부 분포에서 나온 테스트 입력의 분포를 훈련 데이터 분포와 일치시킴으로써 일회성 도메인 적응을 가능하게 하기 위해.
• 완벽한 분류기가 동일하게 ODM 손실을 최소화하는 등, 지도 학습과 일관성을 갖는 손실 함수를 정식화하기 위해.

제안 방법

• 예측 출력 분포와 진짜 레이블 분포 간의 KL 발산을 최소화하는 손실 함수인 출력 분포 매칭(ODM)을 제안한다: $\textrm{KL}[\mathrm{Distr}(y)\|\mathrm{Distr}(F(x))]$.
• 입력 및 출력 분포에서의 비라벨 샘플을 사용하여 유효한 제약 조건을 정의한다: $\mathrm{Distr}(F(x)) = \mathrm{Distr}(y)$.
• 입력 데이터 분포를 모델링하는 $P(x)$와 입력에 대한 출력의 조건부 가능도를 모델링하는 $P_\theta(y|x)$를 사용하는 생성 모델 프레임워크를 활용한다.
• 도메인 적응을 위해, 각 새로운 테스트 입력 $y$에 대해 $x^* = \arg\max_{x,\theta} P_\theta(y|x)P(x)$ 를 L2 정규화와 Adagrad를 사용한 최적화를 통해 새로 시작하여 풀어낸다.
• MNIST에서 $P(x)$는 이진 교차 엔트로피 손실을 사용한 LSTM으로 훈련하고, $P_\theta(y|x)$는 하나의 은닉층을 가진 소형 CNN으로 훈련한다.

실험 결과

연구 질문

• RQ1 예측 손실을 최소화함으로써 지도 학습 성능을 향상시킬 수 있는 비지도 손실 함수를 설계할 수 있는가?
• RQ2 예측 출력 분포를 진짜 레이블 분포와 일치시키는 것이 일반화 성능을 향상시키는가?
• RQ3 ODM은 새로운 도메인에 대한 사전 노출 없이 효과적인 일회성 도메인 적응을 가능하게 하는가?
• RQ4 ODM 손실이 최적의 지도 함수를 완전히 결정하기에 충분한 조건는 무엇인가?

주요 결과

• ODM 손실은 지도 학습과 일관성을 갖는다: 완벽한 지도 분류기 역시 ODM 손실을 최소화하므로, 출력 공간이 클 경우 ODM을 최적화하면 지도 학습 성능이 향상된다.
• 작은 데이터셋과 반가짜 데이터셋에서, ODM은 라벨이 거의 없거나 전혀 없는 경우에도 성능 향상을 보이며, 저 supervision 환경에서의 효과성을 입증한다.
• 일회성 도메인 적응에서, 모델은 1-MNIST 테스트 이미지(역전된 MNIST)를 성공적으로 분류하였으며, 훈련 데이터 분포에서 해당 입력을 재구성함으로써 95%의 경우 정확한 분류를 달성하였다.
• 이 방법은 오직 하나의 테스트 샘플과 생성 모델을 사용하여, 주어진 외부 분포에서 나온 출력 $y$와 일치하는 잠재적 입력 $x$를 추론할 수 있는 능력에 의존한다.
• 출력 공간이 크고 입력-출력 분포 간에 충분한 구조적 유사성이 있을 경우, 특히 장거리 의존성이 존재할 경우 ODM 손실은 가장 효과적으로 작용한다.