[論文レビュー] Structured Prediction Theory Based on Factor Graph Complexity

Corinna Cortes, Mehryar Mohri+2 more|arXiv (Cornell University)|May 20, 2016

Bayesian Modeling and Causal Inference被引用数 14

ひとこと要約

本論文は、要因グラフの複雑さに基づく、構造予測のための新しい理論的枠組みを提示する。この枠組みにより、広範な損失関数と仮説集合に対して、タイトなデータ依存型マージン保証が得られる。本研究では、Voted Conditional Random Field (VCRF) および Voted Structured Boosting (StructBoost) のアルゴリズムを提案し、Voted Risk Minimization を活用することで、複雑な要因グラフを用いた学習を効果的に行いながらも、強力な一般化境界を維持する。

ABSTRACT

We present a general theoretical analysis of structured prediction with a series of new results. We give new data-dependent margin guarantees for structured prediction for a very wide family of loss functions and a general family of hypotheses, with an arbitrary factor graph decomposition. These are the tightest margin bounds known for both standard multi-class and general structured prediction problems. Our guarantees are expressed in terms of a data-dependent complexity measure, factor graph complexity, which we show can be estimated from data and bounded in terms of familiar quantities. We further extend our theory by leveraging the principle of Voted Risk Minimization (VRM) and show that learning is possible even with complex factor graphs. We present new learning bounds for this advanced setting, which we use to design two new algorithms, Voted Conditional Random Field (VCRF) and Voted Structured Boosting (StructBoost). These algorithms can make use of complex features and factor graphs and yet benefit from favorable learning guarantees. We also report the results of experiments with VCRF on several datasets to validate our theory.

研究の動機と目的

• 単純な損失関数や特定の要因グラフモデルにとどまらない、構造予測の一般的な理論的分析を展開すること。
• 特に編集距離のような非ハミング損失を含む、複雑な構造予測問題における理論的保証の欠如を是正すること。
• よりタイトで実用的な学習境界を可能にする、データに依存する複雑さの測度である「要因グラフ複雑さ」を導入すること。
• Voted Risk Minimization (VRM) を用いて理論を拡張し、高次元で複雑な要因グラフを用いた学習を可能にすること。
• モデルの複雑さにもかかわらず、良好な一般化保証を維持できる、新規のアルゴリズム（VCRF および StructBoost）の設計

提案手法

• 要因グラフ複雑さを、構造予測モデルの表現力と一般化能力を定量化するデータ依存型の複雑さ測度として導入する。
• 任意の要因グラフ分解と広範な損失関数族に適用可能な、よりタイトなマージンに基づく一般化境界を導出する。
• 非線形かつ構造化された仮説集合の分析を可能にするために、Talagrand の縮小補題を一般化する。
• 複雑な複数のモデルを組み合わせることで、高複雑性の要因グラフを用いた学習を可能にする Voted Risk Minimization (VRM) 原理を適用する。
• 有向無閉路グラフ上の動的計画法と重み付き有限オートマトン（WFA）を用いた効率的な推論および勾配計算技術を開発し、要因グラフのサイズに対して線形時間で計算を実現する。
• 理論的知見を実用的かつスケーラブルな学習システムに統合した、2 つの新規アルゴリズム（Voted Conditional Random Field (VCRF) および Voted Structured Boosting (StructBoost)）を設計する。

実験結果

リサーチクエスチョン

• RQ1 任意の損失関数と要因グラフ分解に適用可能な、よりタイトでデータ依存型の一般化境界を導出できるか？
• RQ2 高次元で複雑な要因グラフを持つ構造予測モデルの真の一般化能力を反映する複雑さ測度を定義・推定できるか？
• RQ3 Voted Risk Minimization 原理を構造予測に拡張し、高次元で複雑なモデルを用いた学習を可能にするとともに、理論的保証を維持できるか？
• RQ4 提案された理論を現実の構造予測タスクにスケーリングするための、効率的な推論および最適化技術は何か？
• RQ5 提案されたアルゴリズム（VCRF および StructBoost）は、標準的な構造予測モデルと比較して、実際の性能と一般化能力に優れているか？

主な発見

• 提案された要因グラフ複雑さ測度は、データから推定可能であり、特徴のスパarsity やグラフ構造といったよく知られた量で上限が示せるため、一般化境界への実用的応用が可能である。
• 新しいマージンに基づく一般化境界は、既存の結果よりもタイトであり、多クラスおよび構造予測問題の両方において、Taskar 他 (2003) の結果を改善している。
• Voted Risk Minimization を活用することで、複雑な要因グラフを用いた学習が可能となり、複数の複雑なモデルを組み合わせつつも、良好な一般化保証を維持できる。
• VCRF および StructBoost アルゴリズムは、複数のデータセットで実証的に検証され、理論的保証の恩恵を受ける一方で、強力な性能を発揮していることが示された。
• 重み付き有限オートマトン（WFA）を用いた効率的な勾配および推論アルゴリズムが開発され、要因グラフのサイズに対して線形時間で計算が可能となり、大規模な構造予測タスクへのスケーラビリティが実現された。
• 本フレームワークは、編集距離のような非ハミング損失をサポートでき、従来、構造予測におけるタイトな理論的保証の範囲外にあった。