[论文解读] Modeling documents with Generative Adversarial Networks

J. Glover|arXiv (Cornell University)|Dec 29, 2016

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 26

一句话总结

本文提出了一种生成对抗网络（GAN）变体，该模型使用去噪自编码器（DAE）作为判别器，以学习自然语言文档的无监督分布式表示。该模型在文档检索任务上取得了具有竞争力的性能，其表示展现出可解释的主题式结构，并具有良好的语义聚类效果，尽管在高召回率场景下仍逊于当前最优的DocNADE模型。

ABSTRACT

This paper describes a method for using Generative Adversarial Networks to learn distributed representations of natural language documents. We propose a model that is based on the recently proposed Energy-Based GAN, but instead uses a Denoising Autoencoder as the discriminator network. Document representations are extracted from the hidden layer of the discriminator and evaluated both quantitatively and qualitatively.

研究动机与目标

• 探索生成对抗网络（GAN）是否可有效用于自然语言文档的无监督表示学习。
• 通过修改判别器架构，解决GAN在文本表示学习中训练不稳定与学习有意义表示的挑战。
• 通过定量检索任务评估与定性可解释性分析，评估所学文档表示的质量。
• 与强基线模型（如DocNADE和独立自编码器）在性能与表示质量方面进行比较。

提出的方法

• 该模型采用GAN框架，其中生成器将噪声向量映射到词汇空间中的文档表示。
• 判别器以去噪自编码器（DAE）实现，通过重建被破坏的输入文档，作为能量函数以区分真实数据与生成数据。
• DAE通过将输入值的40%随机置零进行训练，使用均方误差损失。
• 生成器通过最小化判别器的能量来生成数据，从而在生成器与基于DAE的判别器之间形成对抗性博弈。
• 文档表示从DAE判别器的编码隐藏层中提取，作为最终的文档嵌入。
• 模型使用Adam优化器进行训练，学习率为0.0001，且在判别器的前两层应用批量归一化。

实验结果

研究问题

• RQ1 基于DAE作为判别器的GAN框架是否能在无监督设置下学习到有意义、解耦且语义连贯的文档表示？
• RQ2 所提出的对抗性文档模型在文档检索任务上的性能与DocNADE和独立DAE等强基线相比如何？
• RQ3 为何在GAN中使用DAE作为判别器能获得比标准自编码器或单独训练DAE更好的表示？
• RQ4 DAE判别器的隐藏单元在多大程度上可被解释为主题，且这些主题的连贯性如何？

主要发现

• 对抗性文档模型在20 Newsgroups文档检索基准上表现具有竞争力，在低召回率水平（低于0.05）时接近DocNADE的性能。
• 该模型所学表示展现出局部可解释的主题，隐藏单元与计算、体育、宗教等连贯主题存在强烈关联。
• 尽管具有可解释性，部分隐藏单元仍包含混合或语义不一致的词关联，例如‘bike’与‘rangers’同时出现在宗教主题簇中。
• 文档表示的t-SNE可视化显示了按主题的清晰聚类，表明模型学习到了语义上合理且可分离的文档嵌入。
• 独立DAE与使用标准自编码器判别器的GAN均表现逊于所提出的基于DAE的判别器模型，表明去噪目标提升了表示质量。
• 该模型表明，在GAN框架中使用DAE作为判别器，其学习表示显著优于单独训练DAE，表明对抗训练过程带来了有益的归纳偏置。