[論文レビュー] A Regularized Framework for Sparse and Structured Neural Attention

Vlad Niculae, Mathieu Blondel|arXiv (Cornell University)|May 22, 2017

Topic Modeling参考文献 47被引用数 46

ひとこと要約

本稿では、滑らかな最大演算子と強凸正則化を用いて、ソフトマックスとスパースマックスのメカニズムを一般化することで、スパースかつ構造的ニューラルアテンションの正則化フレームワークを提案する。このフレームワークにより、微分可能で解釈可能なアテンションが可能となり、スパarsityや構造的事前知識（例：連続するセグメント（fusedmax）やグループ化された語（oscarmax））を強制できる。同時に、テキスト entailment、機械翻訳、要約といったタスクで、標準的なアテンションメカニズムと同等またはそれ以上の性能を維持することができる。

ABSTRACT

Modern neural networks are often augmented with an attention mechanism, which tells the network where to focus within the input. We propose in this paper a new framework for sparse and structured attention, building upon a smoothed max operator. We show that the gradient of this operator defines a mapping from real values to probabilities, suitable as an attention mechanism. Our framework includes softmax and a slight generalization of the recently-proposed sparsemax as special cases. However, we also show how our framework can incorporate modern structured penalties, resulting in more interpretable attention mechanisms, that focus on entire segments or groups of an input. We derive efficient algorithms to compute the forward and backward passes of our attention mechanisms, enabling their use in a neural network trained with backpropagation. To showcase their potential as a drop-in replacement for existing ones, we evaluate our attention mechanisms on three large-scale tasks: textual entailment, machine translation, and sentence summarization. Our attention mechanisms improve interpretability without sacrificing performance; notably, on textual entailment and summarization, we outperform the standard attention mechanisms based on softmax and sparsemax.

研究の動機と目的

• ニューラルネットワークにおけるスパースかつ構造的アテンションメカニズムの統一的で微分可能なフレームワークの開発。
• 入力要素の連続性やグループ化といった構造的事前知識を組み込むことで、アテンションメカニズムの解釈可能性を向上させること。
• 引数最小化／最大化の微分を用いて、アテンションメカニズムの勾配を効率的に計算することで、バックプロパゲーションによるエンドツーエンド学習を可能にすること。
• 構造的アテンションメカニズムが、実世界のNLPタスクにおいて、標準的なソフトマックスやスパースマックスと同等またはそれ以上の性能を発揮できることを実証すること。

提案手法

• フレームワークは、正則化付き最大演算子に基づく。正則化付き最大関数の勾配は、実数入力を単体上での確率分布にマップする。
• 特定の正則化項（例：ソフトマックスではL2ノルムの二乗、スパースマックスではL1ノルム）を選択することで、ソフトマックスとスパースマックスの両方を特別なケースとして一般化する。
• 連続する入力要素セグメントへの注目を促進するために、融合lassoペナルティを組み込むことでfusedmaxを導入する。
• グループ化された、おそらく非連続な入力要素への等価な注目を促進するために、OSCARペナルティを適用することでoscarmaxを導入する。
• 下位の凸最適化問題の解に対するヤコビアン計算手法を導出することで、前向きおよび後向きの計算を効率的に行える。
• 自動微分を用いたニューラルネットワークにおけるエンドツーエンド学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおけるスパースかつ構造的アテンション重みを生成できる統一的で微分可能なフレームワークを設計できるか？
• RQ2 融合lassoやOSCARといった構造的正則化を、アテンションメカニズムに統合することで、解釈可能性を向上させられるか？
• RQ3 このような構造的アテンションメカニズムは、下流のNLPタスクにおいて、標準的なソフトマックスやスパースマックスと同等またはそれ以上の性能を維持または向上できるか？
• RQ4 バックプロパゲーション中に、これらのアテンションメカニズムの前向きおよび後向きパスを計算するための効率的なアルゴリズムをどのように導出できるか？

主な発見

• 提案されたfusedmaxメカニズムは、テキスト entailment タスクおよび文要約タスクで、ソフトマックスおよびスパースマックスを上回り、DUC 2004 データセットで ROUGE-L スコア 25.55 を達成した。
• Gigaword 要約タスクでは、fusedmaxが ROUGE-L スコア 33.69 を達成し、スパースマックス（33.64）をわずかに上回り、ソフトマックス（32.92）を顕著に上回った。
• oscarmaxメカニズムは、ソフトマックスやスパースマックスでは実現できない構造的でグループ化されたアテンションパターンを生成し、性能を落とさずに解釈可能性を向上させた。
• 正則化最適化問題の解に対するヤコビアン計算手法を導出することで、アテンションメカニズムを効率的にバックプロパゲーション可能にした。
• 実験的結果から、fusedmaxとoscarmaxは、連続するまたはグループ化された入力セグメントに注目することで、3つの多様なNLPタスクで解釈可能性を向上させつつ、モデルの精度を維持または向上させた。