[논문 리뷰] Information Theoretic Co-Training

David McAllester|arXiv (Cornell University)|2018. 02. 21.

Gaussian Processes and Bayesian Inference참고 문헌 7인용 수 10

한 줄 요약

이 논문은 정보이론적 공훈련 프레임워크를 제안하여 비지도 표현 학습을 수행한다. 이는 과거 입력과 미래 입력 간의 상호정보량을 최대화하기 위해 과거-가설 모델과 미래-가설 확인 모델을 동시에 학습한다. 가설을 이산 기호로 모델링하고, 교차 엔트로피를 통해 상호정보량의 하한을 최적화함으로써, 레이블이 없는 상황에서도 21개의 음소 중 일부에 대해 47.3%의 프레임 수준 음소 정확도를 달성한다. 이는 정보이론에 기반한 비지도 학습의 새로운 접근 방식을 보여준다.

ABSTRACT

This paper introduces an information theoretic co-training objective for unsupervised learning. We consider the problem of predicting the future. Rather than predict future sensations (image pixels or sound waves) we predict "hypotheses" to be confirmed by future sensations. More formally, we assume a population distribution on pairs $(x,y)$ where we can think of $x$ as a past sensation and $y$ as a future sensation. We train both a predictor model $P_Φ(z|x)$ and a confirmation model $P_Ψ(z|y)$ where we view $z$ as hypotheses (when predicted) or facts (when confirmed). For a population distribution on pairs $(x,y)$ we focus on the problem of measuring the mutual information between $x$ and $y$. By the data processing inequality this mutual information is at least as large as the mutual information between $x$ and $z$ under the distribution on triples $(x,z,y)$ defined by the confirmation model $P_Ψ(z|y)$. The information theoretic training objective for $P_Φ(z|x)$ and $P_Ψ(z|y)$ can be viewed as a form of co-training where we want the prediction from $x$ to match the confirmation from $y$.

연구 동기 및 목표

• 원시 감각 엔트로피를 직접 측정하지 않고도 정보이론에 기반한 새로운 비지도 학습 목표를 개발하기 위해.
• 감각 입력에 기반한 공통의 기호적 표현을 공유하는 예측 모델과 확인 모델을 함께 학습시켜, 사실에 대한 공통의 기호적 표현을 형성하기 위해.
• 예측 모델과 확인 모델을 각각 가설을 예측하고 확인하도록 훈련시킴으로써 과거와 미래 감각 데이터 간의 상호정보량을 측정하기 위해.
• 공동 훈련을 통해 공통의 저엔트로피 기반 기호 언어가 자발적으로 형성되는지 탐색하기 위해.
• 레이블이 없는 조건에서 이 방법을 비지도 음소 표현 학습에 평가하기 위해.

제안 방법

• 이 방법은 (x, z, y) 삼중조의 공동분포를 정의하며, 여기서 x는 과거 감각, y는 미래 감각, z는 x로부터 예측된 가설 또는 y에 의해 확인된 가설이다.
• 데이터 처리 부등식을 사용하여, P_Ψ(z|y)에 의해 유도된 분포 하에서 I(x,y)를 I(x,z)로 경계 지정함으로써 상호정보량의 하한을 도출한다.
• 훈련 목표는 H_Ψ(z) - H⁺_Ψ,Φ(z|x)를 최대화하는 것으로, 여기서 H_Ψ(z)는 미니배치에 대한 z의 경험적 엔트로피이고, H⁺_Ψ,Φ(z|x)는 P_Ψ(z|y)에서 샘플링한 데이터에 대해 P_Φ(z|x)의 교차엔트로피이다.
• 모델은 64차원 은닉 상태를 가진 GRU와 64기호 알파벳을 사용하며, 학습률 스케줄링을 적용한 확률적 경사 하강법으로 훈련된다.
• 훈련을 안정화시키기 위해, 죽은 기호를 활성 기호의 노이즈 버전으로 대체하는 '클로닝' 절차를 사용하며, 이로 인해 H(z)와 H(z|x)에 각각 1비트가 추가된다.
• 목표는 엔드 투 엔드로 훈련되며, z는 x에 대한 의사라벨 역할을 하며, 예측 모델 P_Φ(z|x)의 타겟은 확인 모델 P_Ψ(z|y)를 통해 생성된다.

실험 결과

연구 질문

• RQ1 원시 감각 엔트로피에 직접 접근하지 않고도 과거와 미래 감각 입력 간의 상호정보량을 효과적으로 추정하고 최대화할 수 있는가?
• RQ2 레이블이 없는 조건에서 예측 모델과 확인 모델의 공동 훈련을 통해 공통의 기호 언어가 자발적으로 형성되는가?
• RQ3 상호정보량의 하한을 최대화하는 것이 비지도 학습에서 의미 있고 분리된 표현을 이끌어내는가?
• RQ4 훈련 중에 음소 레이블이 전혀 사용되지 않을 경우 이 방법이 음소 표현 학습에 얼마나 효과적인가?
• RQ5 제안된 목표는 시퀀스와 같은 구조적 출력으로 확장될 수 있으며, 실용적 제약 조건은 무엇인가?

주요 결과

• 모델은 21개의 음소 중 일부에 대해 검증 세트에서 47.3%의 프레임 수준 정확도를 달성하여 랜덤 추측보다 뚜렷하게 뛰어나며, 지도 학습 없이도 의미 있는 학습이 이루어졌음을 보여준다.
• 희귀 또는 미사용된 음소가 포함된 모든 프레임에서 모델은 35.1%의 정확도를 기록하여, 가장 빈번한 레이블을 넘어서 일반화된 성능을 보였다.
• 비지도 기호 분포의 엔트로피, H_Ψ(z|u),는 5.0비트(퍼플렉서티 32)로 측정되어 상당히 다양하고 정보가 풍부한 기호 집합임을 시사한다.
• 개발 세트에서, x로부터 예측된 가장 가능성이 높은 가설과 y로부터 확인된 가장 가능성이 높은 가설이 78.6%의 윈도우 배치에서 일치하여 모델 간의 강한 일관성을 보였다.
• 21개의 빈도 높은 음소에 대해 비지도 기호의 분포는 비교적 균일했으며, 가설 공간의 효과적인 탐색을 시사한다.
• 이 방법은 레이블 없이도 공훈련을 통해 원시 음성 프레임에서 음소 내용의 기호적 표현을 성공적으로 학습하였으며, 기호의 다양성과 일치도 측면에서 지도 학습 기반 방법과 유사한 성능을 보였다.