[论文解读] Adversarial Text Generation via Feature-Mover's Distance
引入 FM-GAN，一种对抗文本生成模型，使用 feature-m mover’s distance (FMD) 基于最优传输来匹配真实与合成句子特征，从而实现 RL-free 训练，并在无条件、条件风格迁移和无监督解密任务中实现改进的文本生成。
Generative adversarial networks (GANs) have achieved significant success in generating real-valued data. However, the discrete nature of text hinders the application of GAN to text-generation tasks. Instead of using the standard GAN objective, we propose to improve text-generation GAN via a novel approach inspired by optimal transport. Specifically, we consider matching the latent feature distributions of real and synthetic sentences using a novel metric, termed the feature-mover's distance (FMD). This formulation leads to a highly discriminative critic and easy-to-optimize objective, overcoming the mode-collapsing and brittle-training problems in existing methods. Extensive experiments are conducted on a variety of tasks to evaluate the proposed model empirically, including unconditional text generation, style transfer from non-parallel text, and unsupervised cipher cracking. The proposed model yields superior performance, demonstrating wide applicability and effectiveness.
研究动机与目标
- 激发并解决将 GAN 应用于离散文本数据的挑战。
- 开发一个可微、基于 OT 的目标函数（FMD），用于匹配真实与生成句子特征。
- 提出一个 RL-free 的文本生成训练框架，具有更高的稳定性和多样性。
提出的方法
- 将 Feature-Mover’s Distance (FMD) 定义为真实与生成句子特征之间的可处理的基于 OT 的差异。
- 通过基于 IPOT 的最优传输计划计算 FMD，句子特征之间采用基于余弦的代价。
- 使用基于 CNN 的句子特征提取器和基于 LSTM 的句子生成器，并使用 soft-argmax 近似以实现可微分性。
- 在一个最小-最大博弈中使用 FMD 目标训练生成器 G 和特征提取器 F。
- 将 FM-GAN 扩展到条件生成任务，如风格迁移和无监督解密，通过自编码器风格的重构和循环一致性思想。
实验结果
研究问题
- RQ1一个基于 OT 的度量（FMD）是否可在无需强化学习的情况下为文本 GAN 提供稳定且具有辨别性的目标？
- RQ2与基于 RL 的以及其他可微分 GAN 方法相比，FM-GAN 是否能够提升生成文本的质量和多样性？
- RQ3基于 FMD 的对抗训练是否能够有效扩展到诸如风格迁移和解密等条件生成任务？
主要发现
- FM-GAN 在无条件生成场景下产生高质量文本并具更好多样性。
- 在非并行风格迁移中，FM-GAN 比若干基线方法具有更高的情感迁移准确性，并提升流畅性与内容保留。
- 该方法可扩展到使用循环一致性和对抗 FMD 损失的无监督解密，优于某些先前变体。
- 与基于 Sinkhorn 的 OT 方法相比，基于 IPOT 的 FMD 提供更快的收敛和稳定性，且无需大量超参数调优。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。