[論文レビュー] Sparse Sequence-to-Sequence Models

Ben Peters, Vlad Niculae+1 more|arXiv (Cornell University)|May 14, 2019

Natural Language Processing Techniques参考文献 40被引用数 7

ひとこと要約

この論文は、ソフトマックスとスパースマックスを一般化する、微分可能でスパースな変換であるα-entmaxと呼ばれる新しい族の異なる変換を用いたスパースな系列対系列モデルを紹介する。アテンション層および出力層の両方で密度的なソフトマックスをα-entmaxに置き換えることで、スパースなアライメントと出力確率を生成し、解釈可能性と精度を向上させるとともに、低不確実性設定では正確なビームサーチを可能にする。この手法はGPU上でソフトマックスにほぼ等しい速度を達成し、語彙変換および機械翻訳タスクにおいて一貫した性能向上を示している。

ABSTRACT

Sequence-to-sequence models are a powerful workhorse of NLP. Most variants employ a softmax transformation in both their attention mechanism and output layer, leading to dense alignments and strictly positive output probabilities. This density is wasteful, making models less interpretable and assigning probability mass to many implausible outputs. In this paper, we propose sparse sequence-to-sequence models, rooted in a new family of $α$-entmax transformations, which includes softmax and sparsemax as particular cases, and is sparse for any $α> 1$. We provide fast algorithms to evaluate these transformations and their gradients, which scale well for large vocabulary sizes. Our models are able to produce sparse alignments and to assign nonzero probability to a short list of plausible outputs, sometimes rendering beam search exact. Experiments on morphological inflection and machine translation reveal consistent gains over dense models.

研究の動機と目的

• すべての語彙項目に非ゼロ確率を割り当てるための非効率さと解釈可能性の欠如を抱える密度的系列対系列モデルの問題を解決すること。
• モデル性能を維持しつつ、不適切な出力への確率質量を削減する、微分可能でスパースなソフトマックスの代替手法を開発すること。
• 出力確率を有限で小さな仮説集合に制限することで、正確なビームサーチを可能にすること。
• 特に大規模語彙タスクを想定した、α-entmax変換の高速でスケーラブルな推論アルゴリズムを提供すること。
• 関連するソーストークンのみを強調するスパースで集中したアライメントにより、アテンションの解釈可能性を向上させること。

提案手法

• Tsallisエントロピーに基づく微分可能でスパースな確率変換の族であるα-entmaxを提案し、ソフトマックス（α=1）とスパースマックス（α=2）を特別なケースとして含む。
• α-entmax出力層の自然な学習目的としてFenchel-Young損失を用い、エンドツーエンドの学習を可能にする。
• 1.5-entmaxのための正確なGPU最適化アルゴリズムを開発し、スパarsityにもかかわらずソフトマックスにほぼ等しい推論速度を達成する。
• 任意のα>1に対して、大規模語彙でも実用的なbisectionベースの近似アルゴリズムを採用する。
• α-entmaxをアテンション機構および出力層の両方へ適用し、同時にスパースなアテンションとスパースな出力確率を実現する。
• 入力フィードバックとグローバルアテンションを備えた標準的なRNNベースの系列対系列モデルに変換を統合する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックスをスパースで微分可能な変換に置き換えることで、系列対系列モデルの解釈可能性と性能が向上するか？
• RQ2 スパースな出力確率分布は、低不確実性タスクにおいて正確なビームサーチを可能にするか？
• RQ3 スパースなアテンションメカニズムは、計算的浪費を削減し、関連するソース語に集中するか？
• RQ4 提案されたα-entmax変換は、大規模語彙NLPタスク、特にGPU上で十分に効率的か？
• RQ5 スパースなアテンションとスパースな出力層の組み合わせは、多様なNLPタスクで一貫した性能向上をもたらすか？

主な発見

• 1.5-entmaxモデルは、de→en翻訳タスクで63.0%のBLEUを達成し、ソフトマックスおよびスパースマックスを上回った。
• 語彙変換タスクでは、最良の密度的ベースラインよりも1.4%の絶対的精度向上を達成した。
• 1ターゲットトークンあたりの非ゼロアテンション重みの平均数は、ソフトマックスの24.25から1.5-entmaxの5.55に低下し、解釈可能性が著しく向上した。
• 1時刻あたりの非ゼロ出力確率の平均数は、ソフトマックスの17,993から1.5-entmaxの16.13に減少し、無駄な確率質量が削減された。
• 正確な1.5-entmaxアルゴリズムは、GTX 1080 GPU上で1秒間に10,500ターゲット語を処理でき、ソフトマックスの13,000語/秒に近く、ほぼ同等の速度であった。
• 語彙変換タスクでは、ビームサーチが多くの場合に正確であり、非ゼロ確率を有する仮説は3つに限定され、正しい出力と1つの妥当な代替出力が含まれていた。