[論文レビュー] Latent Space Secrets of Denoising Text-Autoencoders.

Tianxiao Shen, Jonas Mueller+2 more|arXiv (Cornell University)|May 29, 2019

Topic Modeling参考文献 10被引用数 4

ひとこと要約

本稿では、元の文を再構築するために摂動を加えた入力を用いて訓練することで、テキストオートエンコーダーの潜在空間の幾何構造を向上させるDenoising Adversarial Autoencoders (DAAE) を提案する。この手法により、意味的に類似したテキストが近くの潜在ベクトルにマッピングされ、単純なベクトル演算によって効果的なゼロショットテキストスタイル転送が可能になる。

ABSTRACT

Generative autoencoders offer a promising approach for controllable text generation by leveraging their latent sentence representations. However, current models struggle to maintain coherent latent spaces required to perform meaningful text manipulations via latent vector operations. Specifically, we demonstrate by example that neural encoders do not necessarily map similar sentences to nearby latent vectors. A theoretical explanation for this phenomenon establishes that high capacity autoencoders can learn an arbitrary mapping between sequences and associated latent representations. To remedy this issue, we augment adversarial autoencoders with a denoising objective where original sentences are reconstructed from perturbed versions (referred to as DAAE). We prove that this simple modification guides the latent space geometry of the resulting model by encouraging the encoder to map similar texts to similar latent representations. In empirical comparisons with various types of autoencoders, our model provides the best trade-off between generation quality and reconstruction capacity. Moreover, the improved geometry of the DAAE latent space enables zero-shot text style transfer via simple latent vector arithmetic.

研究の動機と目的

• 既存のテキストオートエンコーダーにおける潜在空間幾何構造の悪さ、すなわち類似した文が近くの潜在ベクトルにマッピングされない問題に対処すること。
• 高容量オートエンコーダーがシーケンスと潜在表現の間で任意のマッピングを学習できる理論的根拠を提示すること。
• 潜在空間の整合性と構造を向上させ、潜在ベクトル操作による意味のあるテキスト操作を可能にすること。
• 既存のオートエンコーダー変種と比較して、生成品質と再構築能力のバランスを改善すること。
• 潜在空間幾何構造の向上により、単純な潜在ベクトル演算を用いたゼロショットテキストスタイル転送を可能にすること。

提案手法

• モデルが摂動を加えたバージョンから元の文を再構築するように、敵対的オートエンコーダーにノイズ除去目的を追加する。
• 腐敗させた入力における再構築損失を最小化することで、類似した文が類似した潜在表現にマッピングされるようにエンコーダーを訓練する。
• 敵対的訓練を用いて潜在空間が事前分布に従うことを保証し、生成品質を向上させる。
• ノイズ除去目的を活用してエンコーダーを正則化し、入力の変動に対してより頑健になり、幾何的整合性を促進する。
• 再構築損失、敵対的損失、および潜在空間に対する正則化項の組み合わせを用いて、モデルをエンドツーエンドで最適化する。
• 訓練後、潜在ベクトル演算（例：ベクトルの加算・減算）を適用してゼロショットテキストスタイル転送を実行する。

実験結果

リサーチクエスチョン

• RQ1 なぜ高容量であるにもかかわらず、現在のテキストオートエンコーダーは整合性のある潜在空間を維持できないのか？
• RQ2 ノイズ除去目的は、テキストオートエンコーダーの潜在空間幾何構造を改善できるか？
• RQ3 改善された潜在空間幾何構造により、潜在ベクトル演算を用いた効果的なゼロショットテキストスタイル転送が可能になるか？
• RQ4 再構築品質と生成能力の観点から、提案されたDAAEモデルは他のオートエンコーダー変種と比較してどのように異なるか？
• RQ5 ノイズ除去オートエンコーダーにおける改善された潜在空間幾何構造の背後にある理論的メカニズムは何か？

主な発見

• ノイズ除去目的によりエンコーダーが適切に正則化され、意味的に類似した文が潜在空間内で近くの点にマッピングされるようになる。
• DAAEは、比較対象のオートエンコーダー・モデルの中で再構築能力と生成品質のバランスが最も優れている。
• 改善された潜在空間幾何構造により、単純なベクトル演算（例：文の補間やスタイル転送）を用いたゼロショットテキストスタイル転送が可能になる。
• 理論的分析により、高容量オートエンコーダーが任意のマッピングを学習可能であることが確認され、幾何的整合性を保つために誘導的バイアス（例：ノイズ除去）の導入が正当化される。
• 実験的結果から、DAAEは標準的な変分オートエンコーダーや敵対的オートエンコーダーと比較して、再構築忠実度および潜在空間構造の両面で優れていることが示された。
• ノイズ除去目的により、エンコーダーの入力摂動に対する耐性が向上し、一般化性能と安定性が向上する。