[논문 리뷰] Adversarial Text Generation via Feature-Mover's Distance

Li‐Qun Chen, Shuyang Dai외 6명|arXiv (Cornell University)|2018. 09. 17.

Generative Adversarial Networks and Image Synthesis인용 수 75

한 줄 요약

FM-GAN을 소개하는 적대적 텍스트 생성 모델로서, real과 synthetic 문장 특징을 매칭하기 위해 최적 수송에 기반한 특징-이동자 거리(FMD)를 사용하는 RL-프리 학습과 unconditional, conditional style transfer, unsupervised decipher 과제 전반에 걸친 텍스트 생성 품질을 개선합니다.

ABSTRACT

Generative adversarial networks (GANs) have achieved significant success in generating real-valued data. However, the discrete nature of text hinders the application of GAN to text-generation tasks. Instead of using the standard GAN objective, we propose to improve text-generation GAN via a novel approach inspired by optimal transport. Specifically, we consider matching the latent feature distributions of real and synthetic sentences using a novel metric, termed the feature-mover's distance (FMD). This formulation leads to a highly discriminative critic and easy-to-optimize objective, overcoming the mode-collapsing and brittle-training problems in existing methods. Extensive experiments are conducted on a variety of tasks to evaluate the proposed model empirically, including unconditional text generation, style transfer from non-parallel text, and unsupervised cipher cracking. The proposed model yields superior performance, demonstrating wide applicability and effectiveness.

연구 동기 및 목표

• GAN을 이산 텍스트 데이터에 적용하는 데 직면하는 문제를 제시하고 해결합니다.
• 실제 문장 특징과 생성된 문장 특징을 일치시키는 미분 가능하고 OT 기반의 목표 함수(FMD)를 개발합니다.
• 안정성과 다양성을 개선한 RL-프리 텍스트 생성 학습 프레임워크를 제안합니다.

제안 방법

• FMD를 실제 문장 특징과 생성된 문장 특징 간의 해석 가능한 OT 기반 차이로 정의합니다.
• 문장 특징 간 코사인 기반의 비용을 가지는 IPOT 기반 최적 수송 계획을 통해 FMD를 계산합니다.
• 미분 가능성을 위한 소프트-아르맥스 근사를 갖춘 CNN 기반 문장 특징 추출기와 LSTM 기반 문장 생성기를 사용합니다.
• FMD 목적함수를 사용하여 G와 F를 미니맥스 게임에서 학습시킵니다.
• 스타일 전이 및 비지도 해독과 같은 조건부 생성 작업으로 FM-GAN을 확장하며, 자동 인코더 스타일의 재구성 및 사이클 일관성Concept을 활용합니다.

실험 결과

연구 질문

• RQ1 OT 기반 지표(FMD)가 강화 학습 없이 텍스트 GAN에 대해 안정적이고 판별 가능한 목표를 제공할 수 있나요?
• RQ2 FM-GAN이 RL 기반 및 기타 차분 가능한 GAN 접근법에 비해 생성 텍스트의 품질과 다양성을 향상시키나요?
• RQ3 FMD 기반의 적대적 학습을 스타일 전이 및 해독과 같은 조건부 생성 작업에 효과적으로 확장할 수 있나요?

주요 결과

• FM-GAN은 무조건 생성 시나리오에서 더 높은 다양성을 가진 고품질의 텍스트를 생성합니다.
• 비병렬 스타일 전이에서 FM-GAN은 여러 베이스라인보다 더 높은 감정 전달 정확도를 달성하고 유창성과 내용 보존을 향상시킵니다.
• 사이클 일관성과 적대적 FMD 손실을 사용한 비지도 해독으로 확장 가능하며 일부 기존 변형보다 우수합니다.
• Sinkhorn 기반 OT 방법과 비교하여 IPOT 기반 FMD는 무거운 하이퍼파라미터 조정 없이 더 빠른 수렴과 안정성을 제공합니다.