[論文レビュー] Learning Semantic Sentence Embeddings using Sequential Pair-wise Discriminator

Badri N. Patro, Vinod K Kurmi+2 more|arXiv (Cornell University)|Jun 3, 2018

Topic Modeling参考文献 53被引用数 22

ひとこと要約

本論文では、真の仮説対を近づけ、関連のないペアを遠ざけることで、グローバルな意味的類似性を強制する共有重み付きペairワイス識別器を備えた、順序付きエンコーダ・デコーダアーキテクチャを用いた、意味的文埋め込みを学習する新しい手法を提案する。この手法は、文書的類似性の生成とセンチメント分析の両タスクで最先端の性能を達成し、標準ベンチマークにおいて、先行手法を著しく上回っている。

ABSTRACT

In this paper, we propose a method for obtaining sentence-level embeddings. While the problem of securing word-level embeddings is very well studied, we propose a novel method for obtaining sentence-level embeddings. This is obtained by a simple method in the context of solving the paraphrase generation task. If we use a sequential encoder-decoder model for generating paraphrase, we would like the generated paraphrase to be semantically close to the original sentence. One way to ensure this is by adding constraints for true paraphrase embeddings to be close and unrelated paraphrase candidate sentence embeddings to be far. This is ensured by using a sequential pair-wise discriminator that shares weights with the encoder that is trained with a suitable loss function. Our loss function penalizes paraphrase sentence embedding distances from being too large. This loss is used in combination with a sequential encoder-decoder network. We also validated our method by evaluating the obtained embeddings for a sentiment analysis task. The proposed method results in semantic embeddings and outperforms the state-of-the-art on the paraphrase generation and sentiment analysis task on standard datasets. These results are also shown to be statistically significant.

研究の動機と目的

• 関連する文の間の意味的類似性を捉える文レベルの意味的埋め込みを学習する教師あり手法を開発すること。
• 生成された仮説が元の文と意味的に近いことを保証するため、グローバルな損失信号を用いて仮説生成を改善すること。
• 感情分析などの下流NLPタスクにおける学習済み埋め込みの有効性を検証すること。
• 提案手法が、仮説生成およびセンチメント分類の両面で、既存の最先端手法を上回ることを示すこと。

提案手法

• モデルは、生成器と識別器の両方で共有されるエンコーダを備えた、共有重み付きLSTMエンコーダ・デコーダアーキテクチャを用いてシーケンス生成を行う。
• ペアワイズ識別器が文レベルの埋め込みを計算し、真の仮説対間の距離を最小化し、関連のない文のペア間の距離を最大化するグローバル損失を強制する。
• 損失関数は、真の仮説対の埋め込み間の距離が大きい場合にペナルティを課し、生成出力の意味的整合性を保証する。
• 局所的（自己回帰的）損失によるシーケンス生成と、意味的整合性のためのグローバル（ペアワイズ）損失を組み合わせて、モデルを共同で訓練する。
• 感情分析のファインチューニングでは単語埋め込みを固定し、文の表現を論理的回帰分類器に供給する。
• 最適化のハイパーパrameter（RMSProp）は、学習率0.00009、バッチサイズ200、およびαとεの標準値を用いて調整される。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ識別器は、シーケンス・トゥ・シーケンス生成フレームワークにおける文埋め込みの意味的質を向上させることができるか？
• RQ2 意味的類似性に基づくグローバル損失を組み込むことで、局所的生成損失のみに依存する場合と比較して、仮説生成のパフォーマンスが向上するか？
• RQ3 学習済み文埋め込みは、感情分析などの下流タスクに効果的に一般化できるか？
• RQ4 提案手法は、標準ベンチマークにおいて、既存の最先端手法よりも統計的に優れているか？

主な発見

• 感情分析タスクにおいて、ベースラインのbag-of-wordsおよびn-gramモデルと比較して、誤差率が15.7%絶対的に向上した。
• Rotten Tomatoesテストセットでは62.606%の精度を達成し、以前の最先端手法を上回った。
• BLEU、METEOR、TERの両方の指標で優れた性能を示し、アブレーションスタディによりペアワイズ識別器の有効性が確認された。
• 埋め込みは繊細なセンチメントを的確に捉えており、類似したフレーズにおいて否定的と肯定的センチメントを正しく区別することができた。
• 統計的有意性検定により、性能向上がランダムなばらつきによるものではないことが確認された。
• 可視化結果から、モデルが関連する意味的フレーズに注目していることが示され、フレーズレベルでの意味の捉え込みの強固さが裏付けられた。