[論文レビュー] Consistent Structured Prediction with Max-Min Margin Markov Networks

Alex Nowak, Francis Bach+1 more|arXiv (Cornell University)|Jul 2, 2020

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、最大マージン手法（M³N）の不一致を是正する統計的整合性を持つ構造予測手法であるMax-Minマージンマルコフネットワーク（M⁴N）を提案する。M³Nの緩い上界を是正する最大最小マージン最適化として定式化することで、多クラス分類、順序回帰、系列予測、順序付けタスクにおいて、有限標本バウンドと整合性保証を併せ持つ。一般化誤差は$O(1/\sqrt{n})$を達成し、$O(n)$回のプロジェクションオラクル呼び出しを伴い、M³Nと同等の計算複雑性を有する。

ABSTRACT

Max-margin methods for binary classification such as the support vector machine (SVM) have been extended to the structured prediction setting under the name of max-margin Markov networks ($M^3N$), or more generally structural SVMs. Unfortunately, these methods are statistically inconsistent when the relationship between inputs and labels is far from deterministic. We overcome such limitations by defining the learning problem in terms of a "max-min" margin formulation, naming the resulting method max-min margin Markov networks ($M^4N$). We prove consistency and finite sample generalization bounds for $M^4N$ and provide an explicit algorithm to compute the estimator. The algorithm achieves a generalization error of $O(1/\sqrt{n})$ for a total cost of $O(n)$ projection-oracle calls (which have at most the same cost as the max-oracle from $M^3N$). Experiments on multi-class classification, ordinal regression, sequence prediction and ranking demonstrate the effectiveness of the proposed method.

研究の動機と目的

• ラベル-入力関係が非決定的である場合の構造予測における最大マージンマルコフネットワーク（M³N）の統計的不一致を是正する。
• 構造化損失の真の最小化子への収束を保証する理論的根拠に基づいたM³Nの代替手法を構築する。
• 出力空間サイズに依存しない、部品数の多項式関数に比例する定数を有する有限標本一般化バウンドを提供する。
• M³Nと同等の計算複雑性を有する効率的なアルゴリズムを設計する。プロジェクションオラクル呼び出しとSaddle Point Mirror Proxを用いる。
• 多様な構造予測タスク（多クラス分類、順序回帰、系列予測、順序付け）において、実験的有効性を示す。

提案手法

• M³Nにおける緩い上界を是正する最大最小マージン定式化としてM⁴Nを提案し、整合性を保証する。
• 双対マージン最大化とエントロピー正則化を用いて、Birkhoff多面体上での鞍点問題として学習問題を定式化する。
• Saddle Point Mirror Proxを用いてプロジェクションオラクル呼び出しにより反復的に最適化問題を解くことで、BCFWアルゴリズムをM⁴Nに一般化する。
• 制約付きシャノンエントロピー、周辺エントロピー、二次エントロピーの3種類の正則化を用いる。周辺エントロピーは、効率的なSinkhorn-Knoppベースのプロジェクションを可能にする。
• 双対ギャップ解析と不等式比較を用いて理論的バウンドを確立し、経験的リスクと真のリスクを結びつける。
• 全コストとして$O(n)$回のプロジェクションオラクル呼び出しを実装し、各呼び出しのコストはM³Nの最大オラクルと同等以下である。

実験結果

リサーチクエスチョン

• RQ1 ラベル-入力関係が非決定的である場合に、構造予測のための最大マージンアプローチを統計的に整合性を持たせることは可能か？
• RQ2 出力空間サイズに依存しない定数を有する有限標本一般化バウンドを、構造予測で達成することは可能か？
• RQ3 M³Nと同等の計算複雑性を有する一方で、先行研究の$O(n^2)$コストを回避する整合性を達成することは可能か？
• RQ4 最大最小マージン定式化は、実用的な構造予測タスクにおいてM³Nより一般化性能を向上させるか？
• RQ5 Saddle Point Mirror Prox法は、プロジェクションオラクル呼び出しを用いて最大最小オラクルを効果的に解けるように適応可能か？

主な発見

• M⁴Nは統計的整合性と有限標本一般化バウンドを達成し、誤差率は$O(1/\sqrt{n})$である。
• 本手法は、M³Nの最大オラクルと同等以下のコストを有する$O(n)$回のプロジェクションオラクル呼び出しで十分である。
• 一般化誤差は$O\left(\|\varphi(f^\star)\|_{\mathcal{G}} \sqrt{\frac{\log(1/\delta)}{n}}\right)$でバウンドされ、定数は部品数の多項式関数に比例する。
• 実験結果から、M⁴Nは多クラス分類、順序回帰、系列予測、順序付けタスクにおいてM³Nを上回る性能を示した。
• アルゴリズムは$T = O(n)$ステップで最適な統計誤差を達成し、各オラクル呼び出しに$O(\sqrt{n})$ステップを要し、全計算複雑性は$O(n\sqrt{n})$となる。
• 周辺エントロピー正則化を用いることで、$O(M^2/\delta)$の複雑性で効率的なSinkhorn-Knoppベースのプロジェクションが可能となった。