[논문 리뷰] Learning deep representations by mutual information estimation and maximization

R Devon Hjelm, Alex Fedorov외 5명|arXiv (Cornell University)|2018. 08. 20.

Adversarial Robustness in Machine Learning인용 수 1,393

한 줄 요약

DIM은 입력과 인코더 출력 간의 상호 정보를 최대화하여 비지도 표현을 학습하며, 전역(global) 및 로컬 MI 목표와 표현 형성을 위한 적대적 사전 매칭으로 표현을 형성합니다.

ABSTRACT

In this work, we perform unsupervised learning of representations by maximizing mutual information between an input and the output of a deep neural network encoder. Importantly, we show that structure matters: incorporating knowledge about locality of the input to the objective can greatly influence a representation's suitability for downstream tasks. We further control characteristics of the representation by matching to a prior distribution adversarially. Our method, which we call Deep InfoMax (DIM), outperforms a number of popular unsupervised learning methods and competes with fully-supervised learning on several classification tasks. DIM opens new avenues for unsupervised learning of representations and is an important step towards flexible formulations of representation-learning objectives for specific end-goals.

연구 동기 및 목표

• 입력과 인코더 출력 간의 상호 정보를 최대화하여 표현의 비지도 학습을 동기에 부여한다.
• 로컬 입력 구조를 활용하는 것이 (패치 수준의 MI) 전역 MI 만으로는 얻기 어려운 분류에 더 적합한 표현을 산출함을 보인다.
• 적대적 학습을 통해 표현이 바람직한 통계적 특성을 갖도록 제약하는 사전 매칭을 도입한다.
• 전역/로컬 MI 목표와 사전 매칭의 결합이 여러 데이터셋에서 경쟁력 있거나 우수한 성능을 보여준다.

제안 방법

• 입력 X와 인코더 출력 Y 간의 상호 정보를 추정하고 최대화하기 위해 DV/JSD/infoNCE 맛의 MI 추정기(MINE에서 영감을 얻음)를 사용한다.
• 로컬 입력 패치 C^{(i)}(X)와 Y 사이의 MI를 선택적으로 최대화하여 로컬 구조를 강조한다(로컬 DIM).
• 인코더의 출력 분포 U_{ψ,P}를 사전 V에 맞추도록 판별기를 학습시켜 바람직한 통계를 강제한다(적대적 사전 매칭).
• 전역 MI, 로컬 MI, 그리고 사전 매칭을 함께 DIM 목적 함수로 결합하고, 가중치 α, β, γ를 조정 가능한 형태로 결합 목표(Eq. 8)에서처럼 구성한다.
• MI 추정기(DV, JSD, infoNCE)를 비교하고 음의 샘플에 대한 견고성 및 아키텍처 선택에 대한 강건성을 분석한다.
• 차단(가림) 및 좌표 예측 보강과 같은 증강을 탐구하여 구조를 더 활용하고 분류 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 입력과 인코더 출력 사이의 상호 정보가 감독 없이도 유용한 표현을 만들어낼 수 있는가?
• RQ2 로컬 MI 최대화를 통한 로컬 구조 강조가 글로벌 MI에 비해 다운스트림 분류 성능을 개선하는가?
• RQ3 적대적 매칭을 통해 인코더의 출력 분포를 사전에 정렬하는 것이 독립성이나 해방(disentanglement)과 같은 표현 특성이 향상되는가?
• RQ4 다른 MI 추정기(DV, JSD, infoNCE)가 학습 안정성 및 다운스트림 작업 성능에 어떻게 영향을 미치는가?
• RQ5 가림(occlusion)이나 좌표 예측과 같은 증강이 표현 품질에 미치는 영향은 무엇인가?

주요 결과

• 로컬 MI(DIM(L))를 사용하는 DIM은 여러 데이터셋에서 다른 비지도 방법들보다 상당히 우수하며, 일부 설정에서 완전 감독 학습의 성능에 근접하거나 이를 능가할 수 있다.
• 전역 MI(DIM(G))를 사용하는 경우 일부 모델과 비슷한 수준이지만 일반적으로 DIM(L) 및 생성기 계열 베이스라인에 비해 큰 분류 작업에서 뒤처진다.
• 표현을 제약하기 위해 적대적 사전 매칭을 사용하면 통계적 특성이 향상되고 원하는 사전과 일치하는 것으로, MI/NDM 분석에서 보여준다.
• infoNCE는 종종 강한 다운스트림 성능을 보이고 DV 기반 형식보다 음의 샘플 수에 대한 견고성이 더 큰 경우가 있으며, JSD는 특정 영역에서 여전히 경쟁력이 있다.
• 가림 및 좌표 예측 증강은 DIM의 분류 정확도를 더 높여, 공간 구조를 활용하는 것이 표현 품질에 이롭다는 것을 시사한다.