[論文レビュー] SparseMAP: Differentiable Sparse Structured Inference

Vlad Niculae, André F. T. Martins+2 more|arXiv (Cornell University)|Feb 12, 2018

Topic Modeling参考文献 40被引用数 37

ひとこと要約

この論文では、1つのMAP解や密度的なマージナル分布ではなく、スパースで解釈可能な高得点構造の集合を選択する、微分可能でスパースな構造的推論手法であるSparseMAPを紹介する。MAPオракルのみを活用し、スパarsityを効用として活用することで、構造的隠れ層を備えた深層ネットワークの効率的で微分可能な学習が可能となり、依存解析および自然言語推論タスクにおいて、解釈性を向上させつつ競争力のある精度を達成する。

ABSTRACT

Structured prediction requires searching over a combinatorial number of structures. To tackle it, we introduce SparseMAP: a new method for sparse structured inference, and its natural loss function. SparseMAP automatically selects only a few global structures: it is situated between MAP inference, which picks a single structure, and marginal inference, which assigns probability mass to all structures, including implausible ones. Importantly, SparseMAP can be computed using only calls to a MAP oracle, making it applicable to problems with intractable marginal inference, e.g., linear assignment. Sparsity makes gradient backpropagation efficient regardless of the structure, enabling us to augment deep neural networks with generic and sparse structured hidden layers. Experiments in dependency parsing and natural language inference reveal competitive accuracy, improved interpretability, and the ability to capture natural language ambiguities, which is attractive for pipeline systems.

研究の動機と目的

• 従来のMAP推論とマージナル推論の限界、特にスパarsityと解釈性の欠如を是正すること。
• MAP推論のスパarsityとマージナル推論の微分可能性の両方の長所を統合した微分可能な推論手法を開発し、構造的隠れ層を備えた深層ネットワークのエンドツーエンド学習を可能にすること。
• 線形割り当てのようなマージナル推論が困難な問題を含め、MAP推論が tractable な任意の構造的問題に適用可能な汎用的でモジュラーなフレームワークを提供すること。
• SparseMAPのスパarsityと微分可能性を継承する新しい損失関数を導入し、モデルの解釈性と性能を向上させること。

提案手法

• SparseMAPは、すべての可能な構造の凸包上での凸最適化問題として定式化され、少数の高得点構造のスパースな組み合わせを促進する。
• スパarsityを誘導するために二次正則化項を用い、出力分布における非ゼロ重みを少数の構造に制限する。
• 前方伝搬は、MAPオラクルの繰り返し呼び出しでのみ必要な投影勾配法により計算され、マージナル推論が困難な問題（例：線形割り当て）にも適用可能である。
• 逆方向伝搬は部分微分法を用いて導出され、前方伝搬で得た量を再利用するため、構造の種類に依存せず、効率的かつ一般的な誤差逆伝播が可能である。
• この手法は、非構造的出力から構造的出力へとsparsemax変換を一般化し、非構造的出力から構造的出力へのスパarsity誘導特性を拡張する。
• 提案されたSparseMAP損失関数は、同じ最適化フレームワークから導出され、微分可能な監視によるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパース性と微分可能性の両方を満たし、マージナル推論の密度的出力やMAPの単一構造制限を回避する構造的推論手法を設計できるか？
• RQ2 マージナル推論が困難な問題においても、複雑な問題特化の逆伝搬を必要とせず、MAPオラクルのみを用いて効率的にスパース構造的推論を計算できるか？
• RQ3 構造的推論にSparseMAPを用いることで、特に曖昧な自然言語タスクにおいて、精度と解釈性が向上するか？
• RQ4 SparseMAPを微分可能でスパースな構造的隠れ層として効果的に用いることができ、エンドツーエンド学習を可能にするか？

主な発見

• 依存解析のタスクでは、SparseMAP損失で学習されたモデルが、入力の曖昧性に適応するスパースで解釈可能な予測を生成しながら、競争力のある精度を達成した。
• 自然言語推論のタスクでは、SparseMAPはソフトマックスベースの手法と比較して、100倍以上もスパースな潜在的構造的アライメントを学習し、同等の精度と向上した可視化による解釈性を達成した。
• GPUメモリのオーバーヘッドがあるものの、モデルの出力がより確定的になるにつれて、スパarsityのおかげでSparseMAPの学習および検証時間はソフトマックスと同等またはそれ以下であった。
• マージナル推論と比較して計算上の利点を示した：Kimら（2017）はマージナル推論で5倍の遅延を報告しているが、SparseMAPは効率的な学習時間を維持した。
• SparseMAP損失およびその勾配は、MAPオラクルのみを用いて効率的に計算可能であり、既存の深層学習パイプラインへのモジュラー統合を可能にした。
• 実験により、SparseMAPの解が少数の重要な構造のスパースな組み合わせであることが確認され、密度的なマージナル推論と比較して統計的効率性と定性的な解釈性が向上した。