[論文レビュー] Educating Text Autoencoders: Latent Representation Guidance via Denoising

Tianxiao Shen, Jonas Mueller+2 more|arXiv (Cornell University)|May 29, 2019

Topic Modeling参考文献 37被引用数 31

ひとこと要約

本稿では、ノイズのある（撹乱された）バージョンから文を再構築するように訓練することで、テキストオートエンコーダーを強化するDenoising Adversarial Autoencoders (DAAE)を提案する。ノイズ除去の目的関数を導入することで、潜在空間に幾何的構造を強制し、高品質なテキスト生成と、単純なベクトル演算によるゼロショットスタイル変換を可能にする。従来のオートエンコーダーと比較して、再構築品質および生成品質の両面で優れている。

ABSTRACT

Generative autoencoders offer a promising approach for controllable text generation by leveraging their latent sentence representations. However, current models struggle to maintain coherent latent spaces required to perform meaningful text manipulations via latent vector operations. Specifically, we demonstrate by example that neural encoders do not necessarily map similar sentences to nearby latent vectors. A theoretical explanation for this phenomenon establishes that high capacity autoencoders can learn an arbitrary mapping between sequences and associated latent representations. To remedy this issue, we augment adversarial autoencoders with a denoising objective where original sentences are reconstructed from perturbed versions (referred to as DAAE). We prove that this simple modification guides the latent space geometry of the resulting model by encouraging the encoder to map similar texts to similar latent representations. In empirical comparisons with various types of autoencoders, our model provides the best trade-off between generation quality and reconstruction capacity. Moreover, the improved geometry of the DAAE latent space enables zero-shot text style transfer via simple latent vector arithmetic.

研究の動機と目的

• テキストオートエンコーダーの潜在空間に幾何的構造が欠如しているという問題に対処すること。これは、意味的に類似した文を意味のある方法で操作できなくなる要因となる。
• ノイズ除去が、意味的に類似した文を近くの潜在ベクトルにマップするようにエンコーダーを誘導するかどうかを調査すること。
• 制御可能なテキスト操作を可能にしつつ、高い再構築品質と生成品質を維持する手法を開発すること。
• 属性ラベルなしで、教師なしのノイズ除去がゼロショットスタイル変換を達成できることを示すこと。
• 理論的および実験的に、ノイズ除去が強力な系列モデルの潜在空間において、近傍保持を強制することを正当化すること。

提案手法

• 敵対的オートエンコーダー（AAE）に、ノイズのある入力（例：ランダムにマスクされた語）から元の文を再構築するノイズ除去目的関数を追加する。
• エンコーダーとデコーダーを、腐敗した入力における再構築損失を最小化するように訓練するとともに、潜在変数の事前分布に一致させるために敵対的訓練を維持する。
• ノイズ除去基準の下では、散らかったマッピングが最適でないことを証明し、エンコーダーが潜在空間において局所的な文構造を保存するよう強制する。
• 得られたDAAEモデルを用いて、単純なベクトル演算（例：感情や時制のベクトルを加算・減算する）によるゼロショットテキストスタイル変換を実行する。
• 補間タスクにモデルを適用し、定量的および定性的な評価を通じて、異なるモデル間での潜在空間の連続性を比較する。
• ノイズ除去目的関数を活用し、BERTのマスク言語モデルと同様に、分離済みで構造的な表現を暗黙的に促進する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去は、テキストオートエンコーダーの潜在表現の幾何的構造を向上させることができるか？
• RQ2 ノイズ除去目的関数は、潜在空間における意味的近傍の保存を向上させるか？
• RQ3 DAAEは、いかなる教師信号や属性ラベルなしでゼロショットテキストスタイル変換を実行できるか？
• RQ4 再構築品質および生成能力の観点から、DAAEは他のオートエンコーダーと比べてどのように異なるか？
• RQ5 ノイズ除去は、潜在空間補間の連続性をどの程度向上させるか？

主な発見

• DAAEは、AAE、VAE、LAAEを含むすべての評価済みオートエンコーダーの中で、生成品質と再構築能力のバランスが最良である。
• ノイズ除去目的関数により、潜在空間の幾何的構造が顕著に向上し、文の近傍性の保存が向上し、滑らかな補間が実現されていることが実証された。
• DAAEは、微調整やラベルなしで、単純なベクトル演算（例：感情や時制の変更）により効果的なゼロショットスタイル変換を可能にする。
• 定性的な例では、AAE、VAE、LAAEと比較して、DAAEはより意味的に整合性のある補間結果およびベクトル演算結果を生成している。
• 意味的に異なる文の間の補間におけるモデルの性能は、潜在空間における言語的連続性およびトピックの一貫性が向上していることを示唆している。
• 理論的分析により、ノイズ除去が任意のマッピングを妨げ、ノイズ除去基準の下では散らかったエンコーダーが最適でないことが確認された。