[논문 리뷰] Modeling documents with Generative Adversarial Networks

J. Glover|arXiv (Cornell University)|2016. 12. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 26

한 줄 요약

이 논문은 자연어 문서의 비지도 분산 표현을 학습하기 위해 소음 제거 오토인코더(Denoising Autoencoder, DAE)를 디스커미네이터로 사용하는 생성적 적대적 네트워크(GAN)의 변종을 제안한다. 이 모델은 문서 검색에서 경쟁적인 성능을 달성하며, 해석 가능한 주제 유사한 구조와 유망한 의미 클러스터링을 보여주지만, 특히 재현율 기반 성능에서 최신 기술인 DocNADE 모델에 미치지 못한다.

ABSTRACT

This paper describes a method for using Generative Adversarial Networks to learn distributed representations of natural language documents. We propose a model that is based on the recently proposed Energy-Based GAN, but instead uses a Denoising Autoencoder as the discriminator network. Document representations are extracted from the hidden layer of the discriminator and evaluated both quantitatively and qualitatively.

연구 동기 및 목표

• 생성적 적대적 네트워크(GANs)가 자연어 문서에서 비지도 표현 학습에 효과적으로 사용될 수 있는지 탐색하기 위해.
• 텍스트용 GAN에서 안정적인 훈련과 의미 있는 표현 학습을 위해 디스커미네이터 아키텍처를 수정함으로써 도전 과제를 해결하기 위해.
• 학습된 문서 표현의 품질을 검색 작업에서의 정량적 평가와 해석 가능성 분석을 통해 정성적으로 평가하기 위해.
• 성능과 표현 품질 측면에서 DocNADE와 독립적인 오토인코더와 같은 강력한 베이스라인과 제안된 모델을 비교하기 위해.

제안 방법

• 모델은 노이즈 벡터를 어휘 공간 내의 문서 표현으로 매핑하는 생성자와 구성된 GAN 프레임워크를 사용한다.
• 디스커미네이터는 소음 제거 오토인코더(Denoising Autoencoder, DAE)로 구현되며, 손상된 입력 문서를 재구성하고 실제 데이터와 생성된 데이터를 구분하는 에너지 기반 함수로 작용한다.
• DAE는 입력 값의 40%를 무작위로 0으로 설정한 상태에서 평균 제곱오차 손실을 사용하여 입력 문서를 재구성하도록 훈련된다.
• 생성자는 디스커미네이터의 에너지를 최소화하도록 훈련되어 생성자와 DAE 기반 디스커미네이터 사이에 적대적 게임을 형성한다.
• 문서 표현은 DAE 디스커미네이터의 인코딩된 은닉층에서 추출되며, 이는 최종 문서 임베딩으로서 기능한다.
• 모델은 Adam을 사용하여 훈련되며, 학습률은 0.0001이며, 디스커미네이터의 첫 두 레이어에 배치 정규화가 적용된다.

실험 결과

연구 질문

• RQ1 DAE를 디스커미네이터로 사용하는 GAN 기반 프레임워크가 비지도 설정에서 의미 있는, 분리된, 의미적으로 일관된 문서 표현을 학습할 수 있는가?
• RQ2 제안된 적대적 문서 모델의 성능은 문서 검색 작업에서 DocNADE와 독립적인 DAE와 같은 강력한 베이스라인과 비교해 어떻게 되는가?
• RQ3 GAN에서 표준 오토인코더를 사용하는 것과 비교해 DAE를 디스커미네이터로 사용할 경우 왜 더 나은 표현을 얻을 수 있는가?
• RQ4 DAE 디스커미네이터의 은닉 유닛이 주제로 해석될 수 있는 정도는 어느 정도이며, 이러한 주제는 얼마나 일관성 있는가?

주요 결과

• 적대적 문서 모델은 20 Newsgroups 문서 검색 벤치마크에서 경쟁적인 성능을 달성하였으며, 재현율이 0.05 이하일 경우 DocNADE의 성능에 근접한다.
• 학습된 모델의 표현은 局소적으로 해석 가능한 주제를 보이며, 은닉 유닛이 컴퓨팅, 스포츠, 종교와 같은 일관된 주제와 강하게 연관되어 있다.
• 해석 가능성에도 불구하고 일부 은닉 유닛은 혼합되거나 의미적으로 일관되지 않은 단어 조합을 포함하여, 예를 들어 'bike'와 'rangers'가 종교 주제 클러스터에 함께 나타나는 경우가 있다.
• 문서 표현의 t-SNE 시각화에서는 주제별로 명확한 클러스터링이 관찰되어, 모델이 의미적으로 의미 있는 분리 가능한 문서 임베딩을 학습하고 있음을 시사한다.
• 독립적인 DAE와 표준 오토인코더 기반 디스커미네이터를 갖춘 GAN은 모두 제안된 DAE 기반 디스커미네이터 모델에 비해 성능이 열 劣하므로, 소음 제거 목적함이 표현 품질을 향상시킨다.
• DAE를 단독으로 훈련시키는 것과 비교해 GAN 프레임워크 내에서 DAE를 디스커미네이터로 사용할 경우 훨씬 나은 표현을 얻을 수 있음을 보여주며, 이는 적대적 훈련 과정이 유용한 인덕티브 바이어스를 제공하기 때문이다.