[논문 리뷰] Learning about an exponential amount of conditional distributions

Mohamed Ishmael Belghazi, Maxime Oquab외 2명|arXiv (Cornell University)|2019. 02. 22.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 7

한 줄 요약

논문은 부분적으로 관측된 레이블이 없는 데이터로부터 지수함수 수준의 조건부 분포를 학습하는 자기지도 학습 딥러닝 모델인 Neural Conditioner(이하 NC)를 소개한다. 학습 후 NC는 훈련 중에 볼 수 없었던 조건부 분포—예를 들어 연합 분포까지 포함—에서 샘플을 생성할 수 있으며, 분류 및 보정 등의 후속 작업을 위한 고품질의 표현을 제공한다.

ABSTRACT

We introduce the Neural Conditioner (NC), a self-supervised machine able to learn about all the conditional distributions of a random vector $X$. The NC is a function $NC(x \cdot a, a, r)$ that leverages adversarial training to match each conditional distribution $P(X_r|X_a=x_a)$. After training, the NC generalizes to sample from conditional distributions never seen, including the joint distribution. The NC is also able to auto-encode examples, providing data representations useful for downstream classification tasks. In sum, the NC integrates different self-supervised tasks (each being the estimation of a conditional distribution) and levels of supervision (partially observed data) seamlessly into a single learning experience.

연구 동기 및 목표

• 부분적으로 관측된 레이블이 없는 데이터로부터 자기지도 표현 학습의 과제를 해결한다.
• 단일 조건부 분포만 학습하는 데에 국한되는 전문화된 자기지도 방법의 한계를 극복한다.
• 모든 가능한 조건부 분포, 포함하여 훈련 중에 볼 수 없었던 분포까지 일반화할 수 있는 통합 프레임워크를 개발한다.
• 단일 학습된 아키텍처를 통해 생성, 표현 학습, 보정 등의 다양한 후속 작업을 수행할 수 있도록 한다.
• 다양한 수준의 감독 정보(예: 부분 관측)를 하나의 확장 가능한 학습 프레임워크에 통합한다.

제안 방법

• Neural Conditioner(이하 NC)는 NC(x·a, a, r)로 파arameterized된 신경망이며, 여기서 x·a는 관측된 값들, a는 가용 변수들의 집합, r은 요청된 변수들의 집합이다.
• 모델은 예측된 조건부 분포 P(X_r | X_a = x_a)가 진짜 데이터 분포와 일치하도록 적대적 훈련을 사용한다.
• 훈련 목표는 가능한 모든 가용 변수와 요청 변수 조합에 대해 진짜 샘플과 생성된 샘플 간의 GAN 스타일 적대적 손실을 최소화하는 것이다.
• NC는 훈련 중에 볼 수 없었던 조건부 분포, 포함하여 전체 연합 분포까지 샘플링할 수 있도록 일반화된다.
• 모델은 입력 데이터를 학습된 조건부 분포를 통해 재구성함으로써 오토에코딩을 지원하여 유용한 표현을 산출한다.
• 프레임워크는 융통성 있는 마스킹 패턴을 허용한다—가용 변수와 요청 변수가 상호 보완적이지 않아도 된다—다양한 자기지도 사전학습 작업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 신경망이 부분 관측된 데이터로부터 지수함수 수준의 조건부 분포를 학습할 수 있는가?
• RQ2 사전에 목표 작업을 지정하지 않고도 적대적 훈련을 통해 모든 가능한 조건부 분포를 동시에 최적화할 수 있는가?
• RQ3 NC는 훈련 중에 볼 수 없었던 조건부 분포, 포함하여 연합 분포까지 샘플을 생성할 수 있는가?
• RQ4 NC는 후속 분류 및 보정 작업을 위한 고품질의 표현을 생성할 수 있는가?
• RQ5 VAEAC와 같은 기존 자기지도 모델과 비교할 때 NC의 샘플 품질과 특징 유용성은 어떠한가?

주요 결과

• NC는 훈련 중에 볼 수 없었던 지수함수 수준의 조건부 분포를 성공적으로 학습하고 일반화한다.
• 모델은 조건부 분포뿐 아니라 연합 분포로부터도 고품질의 샘플을 생성하여 강력한 생성 능력을 입증한다.
• 훈련된 NC는 후속 분류 작업에 매우 효과적인 데이터 표현을 생성하며, 반도체 학습 환경에서 기준 모델을 능가한다.
• NC는 특히 다중 모odal 분포를 가진 복잡한 데이터 분포에서 보정 작업에서 경쟁적인 성능을 달성한다.
• VAE 기반 대안인 VAEAC와 비교해 NC에서의 적대적 훈련은 더 높은 샘플 품질과 더 강건한 특징을 제공한다.
• NC의 통합 아키텍처는 아키텍처 재설계 없이 다양한 자기지도 사전학습 목표를 지원하여 다양한 작업에 대한 융통성 있는 배포를 가능하게 한다.