[論文レビュー] Modeling documents with Generative Adversarial Networks

J. Glover|arXiv (Cornell University)|Dec 29, 2016

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 26

ひとこと要約

本稿では、自然言語ドキュメントの非教師付き分散表現を学習するために、ノイズ除去自己符号化器（DAE）を識別器として用いるGANの変種を提案する。モデルはドキュメント検索において競争力のある性能を達成しており、解釈可能なトピック構造と有望な意味的クラスタリングを示しているが、リcall重視の環境ではまだ最先端のDocNADEモデルに劣っている。

ABSTRACT

This paper describes a method for using Generative Adversarial Networks to learn distributed representations of natural language documents. We propose a model that is based on the recently proposed Energy-Based GAN, but instead uses a Denoising Autoencoder as the discriminator network. Document representations are extracted from the hidden layer of the discriminator and evaluated both quantitatively and qualitatively.

研究の動機と目的

• 生成的対抗ネットワーク（GAN）が自然言語ドキュメントにおける非教師付き表現学習に効果的に用いられるかどうかを検討すること。
• 生成的対抗ネットワークにおける安定な学習と意味のある表現学習の課題に、識別器アーキテクチャの変更によって対処すること。
• ドキュメント検索タスクにおける定量的評価と解釈可能性分析による定性的評価を通じて、学習されたドキュメント表現の質を評価すること。
• 性能と表現品質の観点から、DocNADE や単独の自己符号化器といった強力なベースラインと比較して、提案モデルの性能を評価すること。

提案手法

• モデルは、ノイズベクトルを語彙空間内のドキュメント表現にマップする生成器を用いるGANフレームワークを採用する。
• 識別器はノイズ除去自己符号化器（DAE）として実装され、汚染された入力ドキュメントを再構築し、実データと生成データを区別するエネルギー関数として機能する。
• DAEは、入力値の40％をランダムにゼロに設定した状態でドキュメントを再構築するように学習され、平均二乗誤差損失関数が使用される。
• 生成器は、識別器のエネルギーを最小化するドキュメントを生成するように学習され、生成器とDAEベースの識別器の間で敵対的ゲームが形成される。
• ドキュメント表現は、DAE識別器の符号化された隠れ層から抽出され、これが最終的なドキュメント埋め込みとなる。
• モデルはAdamを用いて学習され、学習率は0.0001であり、識別器の最初の2層にはバッチ正規化が適用される。

実験結果

リサーチクエスチョン

• RQ1 DAEを識別器として用いるGANフレームワークは、非教師付き設定において意味的で、分離可能で、意味的に整合性のあるドキュメント表現を学習できるか？
• RQ2 提案された敵対的ドキュメントモデルの性能は、DocNADE や単独のDAEといった強力なベースラインと比較して、ドキュメント検索タスクでどうなるか？
• RQ3 GANにおけるDAEを識別器として用いることで、標準的な自己符号化器や単独で学習されたDAEと比較して、なぜより優れた表現が得られるのか？
• RQ4 DAE識別器の隠れユニットはどの程度トピックとして解釈可能であり、それらのトピックはどれほど一貫性があるか？

主な発見

• 敵対的ドキュメントモデルは、20 Newsgroupsドキュメント検索ベンチマークで競争力のある性能を達成しており、リcallが低い水準（0.05未満）ではDocNADEの性能に近づいている。
• モデルが学習した表現は局所的に解釈可能なトピックを示しており、隠れユニットはコンピュータ、スポーツ、宗教といった一貫性のあるテーマと強く関連している。
• 解釈可能性は保たれているが、一部の隠れユニットには「バイク」と「レインジャーズ」のような混合的または意味的に一貫性のない語の関連が見られ、宗教関連のトピッククラスタに含まれる。
• ドキュメント表現のt-SNE可視化では、トピックごとに明確なクラスタリングが観察され、モデルが意味的に意味のあるかつ分離可能なドキュメント埋め込みを学習していることが示された。
• 単独のDAEや標準的な自己符号化器を識別器として用いるGANは、提案されたDAEベースの識別器モデルに劣っており、ノイズ除去目的が表現品質を向上させていることが示された。
• DAEを識別器としてGANフレームワークに組み込むことで、単独でDAEを学習するのとは比べ物にならないほど優れた表現が得られることを示しており、敵対的学習プロセスからの有益な誘導バイアスがあることが示された。