[論文レビュー] Learning Semantic Sentence Embeddings using Pair-wise Discriminator.

Badri N. Patro, Vinod K Kurmi+2 more|arXiv (Cornell University)|Jun 3, 2018

Topic Modeling参考文献 37被引用数 11

ひとこと要約

本論文では、順序付きエンコーダ・デコーダモデルと重みを共有するペアワイズディスクリミネーターを用いた、意味的文埋め込みを学習する新規手法を提案する。ディスクリミネーターを、意味的に類似した（真の並び替え文）と類似しない文のペアを区別するように学習させることで、モデルは密度的で意味的に意味のある文埋め込みを学習する。この手法は、並び替え文生成およびセンチメント分析のタスクにおいて、最先端の手法を統計的に有意に上回る性能を達成する。

ABSTRACT

In this paper, we propose a method for obtaining sentence-level embeddings. While the problem of securing word-level embeddings is very well studied, we propose a novel method for obtaining sentence-level embeddings. This is obtained by a simple method in the context of solving the paraphrase generation task. If we use a sequential encoder-decoder model for generating paraphrase, we would like the generated paraphrase to be semantically close to the original sentence. One way to ensure this is by adding constraints for true paraphrase embeddings to be close and unrelated paraphrase candidate sentence embeddings to be far. This is ensured by using a sequential pair-wise discriminator that shares weights with the encoder that is trained with a suitable loss function. Our loss function penalizes paraphrase sentence embedding distances from being too large. This loss is used in combination with a sequential encoder-decoder network. We also validated our method by evaluating the obtained embeddings for a sentiment analysis task. The proposed method results in semantic embeddings and outperforms the state-of-the-art on the paraphrase generation and sentiment analysis task on standard datasets. These results are also shown to be statistically significant.

研究の動機と目的

• 単語レベルの埋め込みと比較して、文レベルの意味的埋め込みを学習するための堅牢な手法の不足に取り組む。
• 元の文と並び替え文の間の意味的類似性を強制することで、生成された並び替え文の意味的質を向上させる。
• 共有されたエンコーダーとペアワイズディスクリミネーターを用いて、文埋め込みの質と並び替え文生成を同時に最適化する訓練フレームワークを開発する。
• 感情分析などの下流NLPタスクにおける提案された埋め込みの有効性を検証する。

提案手法

• 並び替え文の生成に順序付きエンコーダ・デコーダモデルを用い、エンコーダーが文レベルの埋め込みを生成する。
• ディスクリミネーターはエンコーダーと重みを共有し、真の並び替え文ペアと否定的（類似しない）文ペアを区別するように学習する。
• 対照的損失関数が使用され、真の並び替え文ペア間の埋め込み距離が大きくならないようにペナルティが課される。これにより、意味的に近い関係の文が埋め込み空間で近づくように促される。
• 損失関数により、意味的に関連する文の埋め込みが埋め込み空間で近づけ、関係のないペアは遠ざけられる。
• エンコーダ・デコーダとペアワイズディスクリミネーターが、生成と意味的整合性の両方を同時に最適化するように、エンドツーエンドで全体が訓練される。
• 埋め込みの質を評価するために、標準的な並び替え文生成およびセンチメント分析のデータセット上で手法が評価される。

実験結果

リサーチクエスチョン

• RQ1 対照的損失で学習されたペアワイズディスクリミネーターは、並び替え文生成設定において文埋め込みの意味的質を向上させることができるか？
• RQ2 提案手法は、意味的に正確な並び替え文を生成する点で、最先端のアプローチと比較してどのように異なるか？
• RQ3 学習された文埋め込みは、感情分析などの下流タスクにどの程度一般化可能か？
• RQ4 複数の評価ベンチマークで性能向上が統計的に有意であるか？

主な発見

• 提案手法は、既存の手法と比較して統計的に有意な改善を達成し、並び替え文生成タスクで最先端の性能を達成した。
• 学習された文埋め込みは感情分析タスクにうまく一般化され、標準ベンチマークデータセットで先行手法を上回った。
• ペアワイズディスクリミネーターは、真の並び替え文ペアの埋め込み距離を最小化することで、元の文と並び替え文の間の意味的類似性を効果的に強制した。
• エンコーダ・デコーダとディスクリミネーターの共同訓練により、より頑健で意味的に意味のある文表現が得られた。