[論文レビュー] Learning Max-Margin Tree Predictors

Ofer Meshi, Elad Eban+2 more|arXiv (Cornell University)|Sep 26, 2013

Machine Learning and Data Classification参考文献 34被引用数 4

ひとこと要約

本稿では、高い精度を維持しつつ予測時に計算コストを著しく低減できる線形時間の推論を可能にする、木構造の予測子向けのマックスマージン学習フレームワークCRANKを提案する。非木構造をペナルティ化する新しいCircuit-RANK正則化子を導入し、CCCP（凸関数の差分法）を用いて最適化することで、完全結合モデルと同等の性能を達成しつつ、予測時の計算コストを大幅に削減した。

ABSTRACT

Structured prediction is a powerful framework for coping with joint prediction of interacting outputs. A central difficulty in using this framework is that often the correct label dependence structure is unknown. At the same time, we would like to avoid an overly complex structure that will lead to intractable prediction. In this work we address the challenge of learning tree structured predictive models that achieve high accuracy while at the same time facilitate efficient (linear time) inference. We start by proving that this task is in general NP-hard, and then suggest an approximate alternative. Briefly, our CRANK approach relies on a novel Circuit-RANK regularizer that penalizes non-tree structures and that can be optimized using a CCCP procedure. We demonstrate the effectiveness of our approach on several domains and show that, despite the relative simplicity of the structure, prediction accuracy is competitive with a fully connected model that is computationally costly at prediction time.

研究の動機と目的

• 未知または複雑なラベル依存関係を有する構造化予測子の学習の課題に対処すること。
• 高い予測精度を維持しつつ、効率的で線形時間の推論を実現する手法を開発すること。
• 完全結合モデルの計算的に困難な性質を犠牲にすることなく回避すること。
• 木構造の依存関係を学習することで、複雑な構造化予測モデルの実行可能代替手段を提供すること。

提案手法

• 精度と効率のバランスを図るために、木構造の予測子向けのマックスマージン学習フレームワークを提案する。
• 最適化中に非木構造をペナルティ化する、新しいCircuit-RANK正則化子を導入する。
• 正則化された目的関数を最適化するために、CCCP（凸関数の差分法）手順を採用する。
• 効率的な推論を保証するため、木構造の制約を含む構造化SVMの定式化を用いる。
• 木構造と回路表現の双対性を活用し、正則化を誘導する。
• 大マージン制約を効率的に処理するため、カットプラン法を用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 木構造の予測子向けのマックスマージン学習アプローチは、高精度を維持しつつ線形時間の推論を可能にするか？
• RQ2 予測性能を損なわせることなく、モデルを木構造に偏らせる正則化は可能か？
• RQ3 提案手法は、完全結合された構造化モデルと比較して、精度と効率の両面で優れているか？
• RQ4 Circuit-RANK正則化子は、学習中に非木構造を効果的に抑制できるか？

主な発見

• 最適な木構造の予測子を学習する問題はNP困難であることが確認され、近似が必要であることが示された。
• CRANK手法は、複数のベンチマークドメインにおいて、完全結合モデルと同等の予測精度を達成した。
• 単純であるにもかかわらず、木構造のモデルは線形時間の推論を可能にし、完全結合モデルに比べて予測速度で顕著に優れた性能を示した。
• Circuit-RANK正則化子は、精度を損なわせることなく、構造的複雑性を低減する効果的な木構造の促進に成功した。