[論文レビュー] A Structured Self-attentive Sentence Embedding

Zhouhan Lin, Minwei Feng+5 more|arXiv (Cornell University)|Mar 9, 2017

Topic Modeling被引用数 1,463

ひとこと要約

論文は、構造化注意機構を介して複数の文の部分に注意を向ける自己注意型の2-Dマトリクス文 embedding を導入し、著者プロファイリング、感情分析、テキスト含意において可視化と性能向上を実現します。

ABSTRACT

This paper proposes a new model for extracting an interpretable sentence embedding by introducing self-attention. Instead of using a vector, we use a 2-D matrix to represent the embedding, with each row of the matrix attending on a different part of the sentence. We also propose a self-attention mechanism and a special regularization term for the model. As a side effect, the embedding comes with an easy way of visualizing what specific parts of the sentence are encoded into the embedding. We evaluate our model on 3 different tasks: author profiling, sentiment classification, and textual entailment. Results show that our model yields a significant performance gain compared to other sentence embedding methods in all of the 3 tasks.

研究の動機と目的

• 自己注意を2-Dマトリクスとして実装し、解釈可能な文の埋め込みを開発する。
• 文の異なる意味的側面を捉えるために複数の注意ホップを可能にする。
• 注意ホップ間の冗長性を減らし解釈性を向上させる正則化項を提供する。
• 著者プロファイリング、感情分析、テキスト含意タスクでこのアプローチを実証する。
• 埋め込みに寄与する文の部分を解釈する視覚化技術を提供する。

提案手法

• 各トークンの隠れ状態を生成する bidirectional LSTM。
• 2層のMLP（ホップごとにsoftmaxを適用して注意ウェイトベクトルの集合を計算し、アノテーション行列Aを形成）を用いて注意ウェイトベクトルを算出。
• 固定サイズの埋め込みM = AHを構築し、HはLSTM隠れ状態の列、Aはrつの注意ホップをエンコードする。
• 埋め込みを複数のホップ（r行）に拡張し、多様な意味的側面を捉える。
• 正則化項P = ||AA^T - I||_F^2を導入して注意ホップ間の多様性と焦点を奨励する。
• オプションとして、ホップごとの注意と全体の注意を視覚化し、埋め込みに影響を与える語を解釈できる。

(a)

実験結果

リサーチクエスチョン

• RQ1 自己注意を用いたマトリクスベースの文埋め込みは、従来のベクトル埋め込みを多様なNLPタスクで上回ることができるのか？
• RQ2 多様性を促す正則化項は解釈性とモデル性能を改善するのか？
• RQ3 多段階注意（rを変化させる）が、文長が長くなるタスクで性能にどのような影響を与えるのか？
• RQ4 モデルは人間の文の意味理解に整合する直感的な視覚化を提供できるのか？

主な発見

モデル	Yelp	Age
Our Model	64.21%	80.45%
BiLSTM + Max Pooling + MLP	61.99%	77.40%
CNN + Max Pooling + MLP	62.05%	78.15%

• Yelpの感情分類では、提案モデルは64.21%の精度、対してBiLSTM+Maxは61.99%、CNN+Maxは62.05%である。
• Ageの著者プロファイリングタスクでは、モデルは80.45%の精度、対してBiLSTM+Maxは77.40%、CNN+Maxは78.15%である。
• 正則化項はYelpとAgeで性能を改善し、0.0ペナルティのときより64.21%と80.45%の1.0ペナルティ結果を生む。
• SNLIについては、提案手法は競争力のある結果（84.4%のテスト精度）を示し、他の文埋め込みベースのモデルと対をなすことが多く、最先端手法に近いことがある。

(b)