[論文レビュー] Binary Classification with Bounded Abstention Rate

Shubhanshu Shekhar, Mohammad Ghavamzadeh+1 more|arXiv (Cornell University)|May 23, 2019

Machine Learning and Algorithms参考文献 22被引用数 5

ひとこと要約

本稿は、データ駆動的で適応的なアプローチにより、高い確率で棄却制約を満たすように保証する、上限付きの棄却率を有する二値分類の新規プラグイン分類器を提案する。連続性の仮定を課さずにベイズ最適分類器を導出し、滑らかさおよびマージン条件の下で過剰リスクの上限を確立し、計算的に効率的な凸損失に基づくアルゴリズムを提案する。このアルゴリズムは最小最大近似最適性の保証を有し、UCIデータセット上で実証的に検証されている。

ABSTRACT

We consider the problem of binary classification with abstention in the relatively less studied \emph{bounded-rate} setting. We begin by obtaining a characterization of the Bayes optimal classifier for an arbitrary input-label distribution $P_{XY}$. Our result generalizes and provides an alternative proof for the result first obtained by \cite{chow1957optimum}, and then re-derived by \citet{denis2015consistency}, under a continuity assumption on $P_{XY}$. We then propose a plug-in classifier that employs unlabeled samples to decide the region of abstention and derive an upper-bound on the excess risk of our classifier under standard \emph{Hölder smoothness} and \emph{margin} assumptions. Unlike the plug-in rule of \citet{denis2015consistency}, our constructed classifier satisfies the abstention constraint with high probability and can also deal with discontinuities in the empirical cdf. We also derive lower-bounds that demonstrate the minimax near-optimality of our proposed algorithm. To address the excessive complexity of the plug-in classifier in high dimensions, we propose a computationally efficient algorithm that builds upon prior work on convex loss surrogates, and obtain bounds on its excess risk in the \emph{realizable} case. We empirically compare the performance of the proposed algorithm with a baseline on a number of UCI benchmark datasets.

研究の動機と目的

• 任意の入力-ラベル分布に対して、連続性の仮定を必要とせず、上限付きの棄却率を有する二値分類のベイズ最適分類器を同定すること。
• ラベルなしデータを用いて、高い確率で棄却率制約を満たすように適応的に棄却率を制御するプラグイン分類器を設計すること。また、経験的累積分布関数の不連続性に対しても対処できること。
• 標準的な Hölder の滑らかさおよびマージン条件の下で、過剰リスクの上限を導出し、下限を用いて最小最大近似最適性を確立すること。
• 高次元設定において計算的に効率的なアルゴリズムを、凸損失の代理損失に基づいて開発し、実現可能ケースにおける理論的過剰リスク上限を提供すること。
• 複数のUCIベンチマークデータセット上で、ベースラインと比較して提案手法の性能を実証的に評価し、さまざまな棄却率における精度-棄却トレードオフの優位性を示すこと。

提案手法

• Chowの閾値ベースルールを一般化することで、上限付きの棄却率を有するベイズ最適分類器を導出し、連続性の仮定を緩和した別証明を提供する。
• ラベルなしデータを用いて棄却領域を推定するプラグイン分類器を構築し、高い確率で棄却率制約を満たすために確率的ルールを採用する。
• Hölderの滑らかさおよびマージン条件の下で過剰リスクの上限を確立し、未知の滑らかさパラメータに適応する局所的適応性を活用する。
• 高次元における計算複雑性を低減するために、一般化されたヘッジ損失を用いた凸損失ベースのアルゴリズムを提案し、実現可能ケースにおける理論的過剰リスク上限を提供する。
• Rademacher複雑度および一般化上限を用いて棄却率を制御し、高い確率での制約満たしを保証するためにスラック項を導入する。
• 確率的閾値化ルールおよびクリッピングされたヘッジ損失を用いて、有限標本における棄却率に対するロバストネスときめ細やかな制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 任意の入力-ラベル分布に対して、上限付きの棄却率を有する二値分類のベイズ最適分類器の形は何か？
• RQ2 経験的累積分布関数が不連続であっても、高い確率で棄却率制約を満たすようにプラグイン分類器をどのように構築できるか？
• RQ3 標準的な滑らかさおよびマージン仮定の下で、このような分類器に対してどの程度の過剰リスク上限を導出できるか？
• RQ4 提案されたアルゴリズムは過剰リスクの観点で最小最大近似最適性を有しているか？
• RQ5 高次元設定において理論的過剰リスク保証を維持しつつ、計算的に効率的な凸損失ベースのアルゴリズムを設計できるか？

主な発見

• 結合分布の連続性の仮定を必要とせず、Chow (1957) や Denis と Hebiri (2015) の先行研究を一般化して、ベイズ最適分類器を同定した。
• 提案されたプラグイン分類器は、経験的累積分布関数の不連続性が存在しても、高い確率で棄却率制約を満たすことを保証する。これは、先行手法とは対照的である。
• Hölderの滑らかさおよびマージン条件の下で過剰リスクの上限を導出し、未知の滑らかさパラメータへの適応性を示した。
• 過剰リスクの観点で最小最大近似最適性を示す下限を確立した。
• 凸損失の代理損失に基づく計算的に効率的なアルゴリズムを提案し、実現可能ケースにおける理論的過剰リスク上限を提供した。
• UCIデータセットにおける実証的評価により、提案手法がさまざまな棄却率において、精度-棄却トレードオフの観点でベースラインを上回ることを示した。