[논문 리뷰] Adversarial Feature Matching for Text Generation

Yizhe Zhang, Zhe Gan외 5명|arXiv (Cornell University)|2017. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 124

한 줄 요약

TextGAN은 LSTM 생성기와 CNN 판별기를 사용하고 커널 기반 MMD 특성-매칭 목표로 현실적인 문장을 생성하고 텍스트 데이터의 GAN 모드 붕괴를 완화합니다.

ABSTRACT

The Generative Adversarial Network (GAN) has achieved great success in generating realistic (real-valued) synthetic data. However, convergence issues and difficulties dealing with discrete data hinder the applicability of GAN to text. We propose a framework for generating realistic text via adversarial training. We employ a long short-term memory network as generator, and a convolutional network as discriminator. Instead of using the standard objective of GAN, we propose matching the high-dimensional latent feature distributions of real and synthetic sentences, via a kernelized discrepancy metric. This eases adversarial training by alleviating the mode-collapsing problem. Our experiments show superior performance in quantitative evaluation, and demonstrate that our model can generate realistic-looking sentences.

연구 동기 및 목표

• 이산 텍스트 데이터에 GAN을 적용하는 어려움과 시퀀스 모델의 노출 바이어스에서 동기가 얻어졌습니다.
• 실제 문장과 합성 문장 특징을 잠재 공간에서 정렬함으로써 일관되고 다양한 문장을 생성하는 것을 목표로 한다.
• 훈련을 안정화시키고 출력 다양성을 촉진하기 위해 커널 기반 모먼트 매칭 목적을 제안한다.
• 생성 과정에 대한 정보를 보존하기 위해 잠재 코드의 재구성을 포함한다.

제안 방법

• 잠재 코드 z를 합성 문장으로 매핑하기 위해 LSTM을 생성기로 사용한다.
• 문장 특징을 산출하고 진짜/가짜 이진 예측을 수행하는 판별기로 CNN을 사용한다.
• 가우시안 커널을 가진 RKHS에서 실제 문장 특징 분포와 합성 문장 특징 분포를 맞추기 위해 특징 매칭 손실 L_MMD^2를 도입한다.
• 생성된 문장으로부터 잠재 코드를 복구하도록 재구성 손실 L_recon을 추가한다.
• 훈련을 규제하기 위해 판별기의 목표에 GAN 손실을 L_recon 및 L_MMD^2와 결합한다.
• 소프트-아크맥스 근사와 사전 학습 전략을 사용해 훈련을 안정화하고 이산 텍스트 출력을 다룬다.

실험 결과

연구 질문

• RQ1 대립 학습이 커널 기반 특징 매칭으로 표준 GAN보다 현실적인 문장을 더 효과적으로 생성할 수 있는가?
• RQ2 MMD를 통한 잠재 특징 분포 매칭이 모드 붕괴를 완화하고 생성 문장의 다양성을 향상시키는가?
• RQ3 재구성 및 특징 매칭 항이 훈련 안정성과 생성 문장의 품질에 어떤 영향을 미치는가?
• RQ4 임베딩 및 커널 선택이 생성 텍스트의 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• MMD 기반 특징 매칭을 포함한 TextGAN은 BLEU 점수와 KDE가 여러 기준선보다 높게 나타나 문장 품질과 다양성이 향상되었음을 시사합니다.
• MMD 및 MMD-L 변형은 일반적으로 BLEU와 KDE에서 더 높은 점수를 기록하며, 특히 BLEU-2에서 MMD-L이 강합니다.
• 모델은 합성 문장 특징이 900차원 공간의 실제 문장 특징 분포를 포괄하고 정렬함을 보여줍니다.
• 사전 학습 및 안정화 기법(소프트-아크맥스, 순열 기반 판별기 사전 학습)이 훈련의 안정성에 기여합니다.
• AE, VAE, seqGAN 및 표준 textGAN 변형에 비해 TextGAN 변형들이 평가 코퍼스에서 더 나은 정량적 지표를 달성합니다.