[論文レビュー] Convex Risk Minimization and Conditional Probability Estimation

Matus Telgarsky, Miroslav Dudı́k+1 more|arXiv (Cornell University)|Jun 15, 2015

Machine Learning and Algorithms参考文献 17被引用数 5

ひとこと要約

この論文は、最小リスクが達成されない（ブースティングや無限次元設定で一般的）状況においても、凸リスク最小化が一意な条件付き確率モデルに一貫して収束することを確立している。新しいノルムフリーの一般化境界と凸双対性を用いて、母集団および経験的リスク最小化の系列が、このモデルに収束することを証明している。

ABSTRACT

This paper proves, in very general settings, that convex risk minimization is a procedure to select a unique conditional probability model determined by the classification problem. Unlike most previous work, we give results that are general enough to include cases in which no minimum exists, as occurs typically, for instance, with standard boosting algorithms. Concretely, we first show that any sequence of predictors minimizing convex risk over the source distribution will converge to this unique model when the class of predictors is linear (but potentially of infinite dimension). Secondly, we show the same result holds for \emph{empirical} risk minimization whenever this class of predictors is finite dimensional, where the essential technical contribution is a norm-free generalization bound.

研究の動機と目的

• 分布上での凸リスクの最小化が、有限最小値が存在しない場合でも、明確に定義された条件付き確率モデルに収束するかどうかという根本的問題を解消すること。
• 高次元または無限次元の線形予測子クラスにおける経験的リスク最小化の一般化保証を確立すること。
• 分類におけるブースティングやその他の凸サーヴィレート法の極限的挙動を理解するための統一的理論枠組みを提供すること。
• 特にAdaBoostのようなアルゴリズムに特に関連する、有界性や最小値の存在に関する仮定を排除することで、先行研究の制限を克服すること。
• リスク最小化予測子から導かれる条件付き確率推定値の系列が、ほとんど確実に一意な極限モデルに収束することを示すこと。

提案手法

• ベース関数 $ h \to [-1, +1] $ の重み付き和として定義される線形予測子クラス $ \bar{w} \to \text{L}^1(\text{H}) $ を用い、無限次元モデルを可能にする。
• 母集団リスク最小化問題の分析に凸双対性を適用し、極限的条件付き確率モデル $ \bar{\nu} $ の存在と一意性を示す。
• 予測子重みの有界性を要件としないノルムフリー一般化境界を導入し、有界または無限次元の設定でも解析を可能にする。
• リスク最小化予測子を条件付き確率推定値に変換するための変換 $ \nu_w(x,y) = \phi((y(Hw)(x)) $ を定義する。ここで $ \phi(r) = \ell'(r)/(\ell'(r) + \ell'(-r)) $ である。
• Borel-Cantelliの補題を用いて、経験的リスク最小化の下で、推定された条件付き確率が一様に極限モデル $ \bar{\eta} $ にほとんど確実に収束することを証明する。
• 定義域を領域 $ \mathcal{D}_\star $ と $ \mathcal{D}_\star^c $ に分解し、各部分の誤差を制御するために集中不等式を適用する。

実験結果

リサーチクエスチョン

• RQ1 真の分布上での凸リスクの最小化を繰り返す予測子の系列は、有限最小値が存在しない場合でも、明確に定義された対象に収束するか？
• RQ2 有限サンプル上での経験的リスク最小化は、高次元または無限次元の設定でも、条件付き確率モデルの一貫した推定に至るか？
• RQ3 重みベクトルが発散する場合を含め、リスク最小化予測子から導かれる条件付き確率推定値の極限的挙動は何か？
• RQ4 予測子重みの有界性を仮定しない一般化境界は、ブースティングアルゴリズムで通常破綻するが、どのように確立できるか？
• RQ5 極限的条件付き確率モデルは一意的か？また、凸双対性および損失関数の性質を用いて特徴づけられるか？

主な発見

• ロジスティック損失や指数損失を含む、クラス $ \mathbb{L}^{2+}_{\text{b}} $ に属する任意の凸損失に対して、最小化系列の予測子が収束する一意な条件付き確率モデル $ \bar{\eta} $ が存在する。
• 母集団リスクに有限最小値が存在しない場合（例えば標準的ブースティングの場合）でも、条件付き確率推定値 $ \eta_{w_n} $ の系列はほとんど確実に $ \bar{\eta} $ に収束する。
• 重みベクトルの有界性を要件としないノルムフリー一般化境界を確立し、古典的統計学習理論の主要な制限を克服した。
• 条件付き確率推定値の収束速度は $ \mathcal{O}\left( \sqrt{\hat{\mathcal{E}}_n(w)} + \sqrt{\frac{\ln(1/\delta)}{n}} \right) $ である。ここで $ \hat{\mathcal{E}}_n $ は経験的過剰リスクを表す。
• 極限モデル $ \bar{\eta} $ は双対問題によって特徴づけられ、重みベクトルが最小値を達成しなくても、$ \mu $-ほとんど everywhere で一意的である。
• 最小限の仮定の下で分析が成立する：損失関数は2回連続微分可能であり、ベース仮説クラスは任意であり、回帰やブースティングの両設定に適用可能である。