[論文レビュー] Enhancing Sentence Embedding with Generalized Pooling

Qian Chen, Zhen-Hua Ling+1 more|arXiv (Cornell University)|Jun 26, 2018

Topic Modeling参考文献 37被引用数 59

ひとこと要約

本論文は、冗長性を減らすペナルティ項を用いたベクトルベースの多頭一般化プーリングを導入し、SNLI、MultiNLI、Yelp、Age データセットで最先端の文章埋め込みを達成している。

ABSTRACT

Pooling is an essential component of a wide variety of sentence representation and embedding models. This paper explores generalized pooling methods to enhance sentence embedding. We propose vector-based multi-head attention that includes the widely used max pooling, mean pooling, and scalar self-attention as special cases. The model benefits from properly designed penalization terms to reduce redundancy in multi-head attention. We evaluate the proposed model on three different tasks: natural language inference (NLI), author profiling, and sentiment classification. The experiments show that the proposed model achieves significant improvement over strong sentence-encoding-based methods, resulting in state-of-the-art performances on four datasets. The proposed approach can be easily implemented for more problems than we discuss in this paper.

研究の動機と目的

• 文の複数の側面を捉えられる一般化プーリングを通じて、改良された文埋め込みを動機づける。
• スカラー注意/プーリングを拡張して、表現を豊かにするベクトルベースの多頭注意を実装する。
• 注意ヘッド間および文の埋め込み間の冗長性を減らすペナルティ項を導入する。
• 自然言語推論、著者プロファイリング、感情分類データセットでアプローチを評価する。
• 複数のデータセットで、強力な文エンコードのベースラインを上回る顕著な性能向上を示す。

提案手法

• 単語埋め込みと文字埋め込みを用いたBiLSTMベースの系列エンコーダを構築する。
• 複数のアテンションベクトルを生成し、それらを結合して最終的な文表現にする、ベクトルベースの多頭アテンションを開発する。
• アテンションヘッドとその出力の多様性を促す3つのペナルティ項を提供する（パラメータ行列、アテンション行列、文埋め込みに対して）。
• NLIのための文埋め込みを連結と要素ごと演算で結合し、分類のためにショートカット接続を持つ2層MLPに入力する。
• クロスエントロピー損失でエンドツーエンド訓練する；文ベースおよびペアベースの分類タスクでMLPアーキテクチャを共有する。

実験結果

リサーチクエスチョン

• RQ1 vector-based multi-head attentionがスカラー注意法より文埋め込みを改善するか？
• RQ2 ペナルティ項が注意ヘッド間の冗長性を減らし性能を向上させる影響は何か？
• RQ3 一般化プーリングアプローチはNLI、著者プロファイリング、感情分類タスクで強力なベースラインと比較してどう機能するか？
• RQ4 頭の数、ヘッド次元、トレーニング体制などデータセット特有の設定は、どの設定が最大の利益をもたらすか？

主な発見

• SNLIのテストセットで86.6%の最先端精度を達成（従来の最良は86.3%）。
• MultiNLIでは、同域で73.8%、異域で74.0%の精度を達成（異域の最高は74.0%）。
• YelpとAgeデータセットで、一般化プーリングモデルは66.55%（Yelp）と82.63%（Age）を達成し、どちらも強力なベースラインを上回る。
• ベクトルベースのアテンションはヘッドが多いほどスカラー注意より優れており、9ヘッドモデルは開発セットの最良精度を達成（86.8% 対 86.4% のスカラー）。
• ペナルティ項はデータセット全体で性能を著しく改善し、パラメータ行列のペナルティがいくつかのタスクで最大の利益をもたらした。