[논문 리뷰] Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information

Karl Stratos, Sam Wiseman|arXiv (Cornell University)|2020. 04. 08.

Digital Media Forensic Detection인용 수 6

한 줄 요약

이 논문은 비정답 데이터로부터 이산적 구조적 표현을 학습하기 위해, 구조적 잠재 변수와 목표 변수 간 상호정보를 적대적으로 최대화하는 방법을 제안한다. 적대적 훈련과 이진 코드 위의 마르코프 분포를 사용하여 계산이 가능하도록 상호정보 추정 기법을 도입하여, 매우 압축되고 해석 가능한 표현을 얻음으로써 문서 해싱에서 최신 기준 성능을 달성한다.

ABSTRACT

We propose learning discrete structured representations from unlabeled data by maximizing the mutual information between a structured latent variable and a target variable. Calculating mutual information is intractable in this setting. Our key technical contribution is an adversarial objective that can be used to tractably estimate mutual information assuming only the feasibility of cross entropy calculation. We develop a concrete realization of this general formulation with Markov distributions over binary encodings. We report critical and unexpected findings on practical aspects of the objective such as the choice of variational priors. We apply our model on document hashing and show that it outperforms current best baselines based on discrete and vector quantized variational autoencoders. It also yields highly compressed interpretable representations.

연구 동기 및 목표

• 정답 데이터가 없이도 의미 있는 이산적 구조적 표현을 학습하는 것.
• 구조적 잠재 변수 모델에서 상호정보 계산의 비가역성 문제를 해결하는 것.
• 단지 교차 엔트로피 계산만을 사용하여도 계산이 가능한 적대적 목표 함수를 개발하는 것.
• 이산적이고 해석 가능한 코드를 사용하여 표현 학습 과제(예: 문서 해싱)의 성능을 향상시키는 것.
• 모델 성능에 크게 영향을 주는 실용적 설계 선택 사항(예: 변분 사전)을 탐색하는 것.

제안 방법

• 이 방법은 구조적 잠재 변수와 목표 변수 간 상호정보를 근사하기 위해 적대적 목표를 사용한다.
• 계산이 가능하도록 상호정보 추정을 가능하게 하기 위해 교차 엔트로피 계산의 가능성을 가정한다.
• 구체적인 구현은 이진 인코딩 위의 마르코프 분포를 사용하여 구조적 잠재 공간을 모델링한다.
• 모델은 이산 코드를 생성하는 생성기와 실제 샘플과 생성된 샘플을 구분하는 판별기를 사용한다.
• 훈련 목표는 적대적 학습을 통해 최적화되며, 판별기가 표현 품질 향상에 대한 신호를 제공한다.
• 이 방법은 매우 압축되고 해석 가능한 이산 표현을 생성하는 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정확한 계산이 비가능한 상황에서, 이산적 구조적 잠재 공간에서 상호정보를 효과적으로 최대화할 수 있는 방법은 무엇인가?
• RQ2 다양한 변분 사전이 학습된 이산 표현의 품질에 미치는 영향은 무엇인가?
• RQ3 적대적 훈련이 표현 학습에서 표준 상호정보 추정 기법에 비해 계산이 가능하고 효과적인 대안이 될 수 있는가?
• RQ4 학습된 이산 표현은 압축성과 최종 과제 성능 측면에서 기존 베이스라인과 비교해 어떻게 다른가?
• RQ5 아키텍처 및 사전 선택과 같은 실용적 설계 선택 사항이 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 이산적 표현과 벡터 양자화된 변분 오토에인도어의 최신 기준 베이스라인보다 문서 해싱에서 뛰어난 성능을 보였다.
• 모델은 매우 압축되고 해석 가능한 표현을 생성하여 효율적인 저장 및 검색을 가능하게 하였다.
• 변분 사전 선택에 대해 예상치 못한 중요한 발견이 있었으며, 이는 모델 성능에 크게 영향을 주었다.
• 정확한 계산이 비가능함에도 불구하고, 적대적 목표가 효과적인 상호정보 최대화를 가능하게 하였다.
• 단지 교차 엔트로피 계산의 가능성을 전제로 하여도 강력한 성능를 달성하였으며, 이는 최소한의 아키텍처 가정에 기반하였다.
• 학습된 표현은 압축적이면서도 의미적으로 유의미하여 실제 검색 과제에서의 유용성을 입증하였다.