[論文レビュー] LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction

Vlad Niculae, André F. T. Martins|arXiv (Cornell University)|Jan 13, 2020

Tensor decomposition and applications参考文献 61被引用数 4

ひとこと要約

LP-SparseMAP は、要因グラフを用いたローカルポリトープ近似により、MAP推論が困難な構造的モデルを扱えるように拡張された、微分可能で緩和された最適化フレームワークを提案する。このフレームワークは SparseMAP を拡張し、ADMM を用いた効率的な前向き・逆向きの計算と閉形式の勾配を可能にし、論理制約やループ構造を含む複雑な制約を持つ依存構文解析、自然言語推論、マルチラベル分類タスクで最先端の性能を達成する。

ABSTRACT

Structured prediction requires manipulating a large number of combinatorial structures, e.g., dependency trees or alignments, either as latent or output variables. Recently, the SparseMAP method has been proposed as a differentiable, sparse alternative to maximum a posteriori (MAP) and marginal inference. SparseMAP returns a combination of a small number of structures, a desirable property in some downstream applications. However, SparseMAP requires a tractable MAP inference oracle. This excludes, e.g., loopy graphical models or factor graphs with logic constraints, which generally require approximate inference. In this paper, we introduce LP-SparseMAP, an extension of SparseMAP that addresses this limitation via a local polytope relaxation. LP-SparseMAP uses the flexible and powerful domain specific language of factor graphs for defining and backpropagating through arbitrary hidden structure, supporting coarse decompositions, hard logic constraints, and higher-order correlations. We derive the forward and backward algorithms needed for using LP-SparseMAP as a hidden or output layer. Experiments in three structured prediction tasks show benefits compared to SparseMAP and Structured SVM.

研究の動機と目的

• MAP推論が困難なモデル（論理制約やループ構造を含むものなど）において、微分可能な構造的予測を可能にすること。
• ローカルポリトープ近似を用いて、SparseMAPフレームワークを表現力があり制約のある構造的モデルに拡張すること。
• ニューラルネットワーク用に効率的でモジュール化可能かつエンドツーエンドで学習可能な構造的隠れ層を提供すること。
• 前向きパスと計算グラフのアンローリングを必要としない、コンactな後向きパスを備えた、グローバル収束保証付きの ADMM アルゴリズムを導出すること。
• MAPオракルのみを必要とする汎用インターフェースを通じて、さまざまな要因タイプ（例：予算、論理和、否定）を統合可能にすること。

提案手法

• LP-SparseMAP は、局所的ポリトープ上での緩和された最適化問題として構造的予測を定式化し、正確な MAP が困難なモデルにおいて微分可能な推論を可能にする。
• 複雑な依存関係、制約（例：予算、バリエンシー）および高階相関をモデル化するために、要因グラフ表現を用いる。
• 前向きパスでは、グローバル収束保証付きの ADMM アルゴリズムを用い、緩和された双対問題を効率的に解く。
• 後向きパスでは、前向きパスで得た量を再利用するコンactな閉形式の式を用いて勾配を計算し、ADMMイテレーションの逆伝播を必要としない。
• 新しい要因タイプは、MAPオラクルのみを必要とする汎用インターフェースを通じて統合され、即座に拡張可能となる。
• 一般的な要因（例：ペairワイズ、論理和、否定、予算）に対して、効率性と正確性を高めるために特別なソルバが導出される。

実験結果

リサーチクエスチョン

• RQ1 MAP問題が困難で複雑な制約を伴うモデルに対応できる微分可能な構造的予測手法を設計できるか？
• RQ2 SparseMAPフレームワークを、ループ付きグラフィカルモデルや論理制約付き構造を必要とする近似的推論を要するモデルに拡張できるか？
• RQ3 緩和された構造的予測に適した、効率的かつグローバル収束保証付きの ADMM ベースの前向きパスを導出できるか？
• RQ4 計算グラフのアンローリングを必要とせず、後向きパスを閉形式で計算できるか？
• RQ5 提案手法は、構造的潜在変数を伴うエンドツーエンド学習において、SparseMAP や Structured SVM よりも優れた性能を発揮するか？

主な発見

• 算術式構文解析における潜在依存木の誘導タスクで、LP-SparseMAP は SparseMAP や Structured SVM を上回る最先端の性能を達成した。
• 自然言語推論タスクでは、制約付き構文解析を用いた LP-SparseMAP が、特に厳しい論理制約下でもベースラインを上回る F1 スコアを達成した。
• bibtex および bookmarks のマルチラベル分類タスクにおいて、LP-SparseMAP は LP-MAP や SparseMAP よりも高い F1 スコアと正確性を達成し、特に複雑なラベル相関がある場合に顕著であった。
• 本手法は、収束性と効率性に優れ、10～100回の ADMM イテレーションで、プライマルおよび双対許容誤差 1e-6 で収束した。
• 後向きパスは、ADMM ループの自動微分を必要とせず、100回のパワー反復のみで高精度な勾配を達成した。
• ライブラリ実装は C++ および Python をサポートし、MAPオラクルインターフェースを通じて、新しい要因タイプのモジュラー統合が可能である。