[論文レビュー] Neyman-Pearson classification, convexity and stochastic constraints

Philippe Rigollet, Xin Tong|arXiv (Cornell University)|Feb 28, 2011

Fuzzy Systems and Optimization参考文献 9被引用数 29

ひとこと要約

本稿では、タイプI誤りを事前に指定された閾値以下に保ち、高確率で制御するニューマン＝ピアソン二値分類の凸最適化フレームワークを提案する。ベース分類器を凸結合により組み合わせ、経験的制約を用いた確率的制約付き最適化問題を解くことで、非対称な誤りコスト下での最適なトレードオフを達成する。特に異常検出に適している。

ABSTRACT

Motivated by problems of anomaly detection, this paper implements the Neyman-Pearson paradigm to deal with asymmetric errors in binary classification with a convex loss. Given a finite collection of classifiers, we combine them and obtain a new classifier that satisfies simultaneously the two following properties with high probability: (i) its probability of type I error is below a pre-specified level and (ii), it has probability of type II error close to the minimum possible. The proposed classifier is obtained by solving an optimization problem with an empirical objective and an empirical constraint. New techniques to handle such problems are developed and have consequences on chance constrained programming.

研究の動機と目的

• タイプI誤り（偽陰性）がより深刻な異常検出のような文脈において、非対称な誤りコストの課題に対処すること。
• 学習済み分類器のタイプI誤りが高確率で事前に指定されたレベル以下に制限される学習手順を開発すること。
• タイプI誤り制約を維持しつつ、タイプII誤り（偽陽性）を最小化し、ニューマン＝ピアソンの枠組み下での最適なパフォーマンスを達成すること。
• リスク制約をほとんど確実に満たすという本質的な難しさに対処するため、経験的制約と高確率保証を用いること。
• 二値分類の文脈において、凸サロゲート損失関数を用いた確率的制約付き確率的最適化の理論的基盤を提供すること。

提案手法

• 非凸なインジケータ損失の代わりに、効率的な最適化を可能にする凸サロゲート損失関数φを用いて分類問題を定式化する。
• ベース分類器h_jの凸結合として分類器を構築し、H^conv = {h_λ = ∑λ_j h_j : λ ∈ Λ} と定義する。ここでΛは確率単体である。
• φリスクR_φ(h) = E[φ(−Y h(X))]を定義し、タイプI誤りに関する経験的制約を満たすようにこの経験的リスクを最小化する。
• タイプI誤りの経験的値が高確率で閾値α以下に保たれるように保証する確率的制約付き最適化問題を解く。
• 集中不等式や尾部バウンド（例えば、二項分布の尾部近似）を用いて、制約の満たされる高確率保証を導出する。
• 順序統計量とベータ積分を用いて、尾部確率P_q(N ≥ nq)の下界を証明し、制約の妥当性に関する理論的分析を支援する。

実験結果

リサーチクエスチョン

• RQ1 高確率で事前に指定されたレベル以下にタイプI誤りが抑えられるような、ベース分類器の凸結合が構築可能か？
• RQ2 二値分類設定において、タイプI誤りに確率的制約を課した下で、過剰なタイプII誤りをどのように最小化できるか？
• RQ3 ニューマン＝ピアソンフレームワーク下で、確率的制約付き経験的リスク最小化に対してどのような理論的保証を確立できるか？
• RQ4 凸サロゲート損失関数の性質は、非対称誤りコスト下での確率的制約付き最適化とどのように相互作用するか？
• RQ5 固定されたタイプI誤り制約下で、達成可能な最小のタイプII誤り率は何か？ そして、凸最適化によりどのように近づけるか？

主な発見

• 経験的制約を伴う凸確率的最適化問題を解くことで得られる提案分類器は、タイプI誤りが高確率で事前に指定されたレベルα未満であることを保証する。
• ベース分類器にややいなごろの正則性条件が課されれば、有限標本下での過剰タイプII誤りバウンドがO(√(log M / n))の速度で減少することが示された。
• 任意のq > 1/nに対して、確率P_q(N ≥ nq)は1/4以上に下界される。これは、高次元設定下でも制約の妥当性を支持する。
• 理論的分析により、標本サイズnが増加するにつれて制約の満たされる確率が上昇し、M = o(e^n)の条件下ではベース分類器の選択に強く依存しないことが示された。
• 本フレームワークは、機械学習における確率的制約付き最適化の一般的な取り扱い方を提供し、異常検出やアンバランス分類への応用が可能である。
• 凸サロゲートの使用により、計算が効率的に行える一方で、ニューマン＝ピアソンの枠組み下でも統計的一致性が保たれる。