[論文レビュー] Variational Self-attention Model for Sentence Representation

Qiang Zhang, Shangsong Liang+1 more|arXiv (Cornell University)|Dec 30, 2018

Topic Modeling参考文献 9被引用数 4

ひとこと要約

本稿では、変分推論を用いて自己注意の重みを確率的変数として扱う変分自己注意モデル（VSAM）を提案する。これにより、確率的でマルチモーダルな注意分布を実現する。潜在変数の周辺化により、過学習に対する耐性が向上し、ステイント検出タスクで最先端の性能を達成。FNC-1データセットでは83.54%のマイクロ-F1を記録し、決定的自己注意や他のベースラインを上回った。

ABSTRACT

This paper proposes a variational self-attention model (VSAM) that employs variational inference to derive self-attention. We model the self-attention vector as random variables by imposing a probabilistic distribution. The self-attention mechanism summarizes source information as an attention vector by weighted sum, where the weights are a learned probabilistic distribution. Compared with conventional deterministic counterpart, the stochastic units incorporated by VSAM allow multi-modal attention distributions. Furthermore, by marginalizing over the latent variables, VSAM is more robust against overfitting. Experiments on the stance detection task demonstrate the superiority of our method.

研究の動機と目的

• 文の表現における複雑でマルチモーダルな注意パターンを捉えるために、決定的自己注意の限界を解消すること。
• 特に小規模なNLPデータセットにおいて、一般化性能と過学習に対する耐性を向上させること。
• 変分推論を用いて確率的モデリングを自己注意に統合し、より豊かな分布的注意表現を可能にすること。
• 注意重みの不確実性をモデル化することで、ステイント検出のための文表現学習を強化すること。

提案手法

• VSAMは、自己注意ベクトルを潜在確率的変数としてモデル化し、変分事後分布を用いて確率的注意計算を可能にする。
• 変分下界（ELBO）を用いて、生成モデルと推論ネットワークを確率的バックプロパゲーションにより同時に最適化する。
• 注意重みは、入力文の表現に条件付けられたニューラルネットワークによって予測される平均と分散を持つパラメータ化された正規分布からサンプリングされる。
• 再パrameterizationトリックを用いて微分可能なサンプリングを実現し、バックプロパゲーションによるエンドツーエンド学習を可能にする。
• 生成モデルは潜在注意変数の事前分布を定義するが、推論ネットワークは観測された入力とターゲットラベルを用いて真の事後分布を近似する。
• 最終的な文表現は、潜在注意変数の周辺化により得られ、最終出力に不確実性を統合する。

実験結果

リサーチクエスチョン

• RQ1 自己注意重みを確率的変数としてモデル化することで、NLPタスクにおける文表現学習が向上するか？
• RQ2 変分推論による確率性の導入が、マルチモーダルな依存関係を捉えるより頑健な注意分布を生み出すか？
• RQ3 潜在注意変数の周辺化により、特に小規模データセットにおいて過学習が軽減されるか？
• RQ4 提案された変分自己注意メカニズムは、ステイント検出タスクにおいて決定的自己注意よりも優れているか？

主な発見

• VSAMはFNC-1ステイント検出テストセットで83.54%のマイクロ-F1を達成し、CNN、RNN、決定的自己注意モデルを含むすべてのベースラインを上回った。
• 同意クラスでは28.53%の精度を達成し、次に良いベースライン（CNNで24.54%）を著しく上回った。
• 無関係クラスでは82.43%の精度を記録し、決定的自己注意モデル（80.34%）とCNNベースライン（79.53%）を上回った。
• 性能向上は、確率的推論によりマルチモーダルな注意分布を学習できることに起因する。
• 実験により、潜在変数の周辺化が耐性向上に寄与することが確認され、特に訓練例が限られる小規模データセットにおいて顕著であった。