[論文レビュー] Binary Classification with Karmic, Threshold-Quasi-Concave Metrics

Bowei Yan, Oluwasanmi Koyejo+2 more|arXiv (Cornell University)|Jun 2, 2018

Machine Learning and Algorithms被引用数 9

ひとこと要約

本稿は、F-measure や精度などの複雑で非分解可能な性能指標において、二値分類の一般枠組みを提示する。性能指標が満たすべき2つの重要な性質、Karmic 性およびしきい値準凹性を同定することで、ベイズ最適分類器が条件付き確率 $P(Y=1|X)$ のしきい値関数であることを保証する。著者らは、新規のしきい値推定法を用いたプラグイン推定量を提案し、ややきつい正則性条件のもとで超過有効性の高速収束レートを確立する。具体的には、ガウスモデルでは $O(\log n / n)$、Hölder スムーズな条件付き確率では $O(n^{-(\min\{\alpha,1\}+1)\beta/(2\beta+d)})$ が得られる。

ABSTRACT

Complex performance measures, beyond the popular measure of accuracy, are increasingly being used in the context of binary classification. These complex performance measures are typically not even decomposable, that is, the loss evaluated on a batch of samples cannot typically be expressed as a sum or average of losses evaluated at individual samples, which in turn requires new theoretical and methodological developments beyond standard treatments of supervised learning. In this paper, we advance this understanding of binary classification for complex performance measures by identifying two key properties: a so-called Karmic property, and a more technical threshold-quasi-concavity property, which we show is milder than existing structural assumptions imposed on performance measures. Under these properties, we show that the Bayes optimal classifier is a threshold function of the conditional probability of positive class. We then leverage this result to come up with a computationally practical plug-in classifier, via a novel threshold estimator, and further, provide a novel statistical analysis of classification error with respect to complex performance measures.

研究の動機と目的

• F-measure や精度といった、標準的経験的リスク最小化では最適化できない、複雑で非分解可能な性能指標の下での二値分類の課題に対処すること。
• ベイズ最適分類器が条件付き確率のしきい値関数であることを保証する最小限の構造的仮定、具体的には Karmic 性およびしきい値準凹性を同定すること。
• 条件付き確率推定と新規のしきい値推定法を組み合わせることで、計算的に実用的なプラグイン推定量を構築すること。
• 一般の非分解可能な性能指標に関する分類誤差の統計的解析を提供し、低ノイズおよび滑らかさ仮定の下で高速収束レートを導出すること。
• 精度のためのマージンに基づく低ノイズ仮定を、複雑な性能指標へと拡張し、特定のモデルに対して明示的な収束レートを導出すること。

提案手法

• 性能指標における真正陽性、真正陰性、および偽陽性・偽陰性の減少に対する感受性を形式化する Karmic 性を導入する。
• 従来の仮定よりも弱い構造的条件として、最適しきい値まわりの性能が良好に振る舞うことを保証するしきい値準凹性を定義する。
• これらの2つの性質が成り立つ場合、ベイズ最適分類器が条件付き確率 $P(Y=1|X)$ のしきい値関数であることを証明する。
• 条件付き確率と最適しきい値を最尤推定または非パラメトリック推定法（例：ロジスティック回帰、カーネル密度推定）で推定するプラグイン分類器を提案する。
• 条件付き確率推定の収束レート、しきい値推定の収束レート、およびマージン仮定によるノイズレベルの3要素に依存する一般化された超過有効性の上限を確立する。
• 特定のモデルにおける明示的な収束レートを導出する：ガウス生成モデルでは $O(\log n / n)$、$ \beta$-Hölder スムーズな条件付き確率では $O(n^{-(\min\{\alpha,1\}+1)\beta/(2\beta+d)})$。

実験結果

リサーチクエスチョン

• RQ1 性能指標がどのような一般的条件下で、ベイズ最適分類器が条件付き確率 $P(Y=1|X)$ のしきい値関数となるか？
• RQ2 非分解可能な指標に対して、計算的に実行可能かつ統計的に一貫性を持つプラグイン分類器を構築できるか？
• RQ3 ややきつい正則性条件の下で、このようなプラグイン推定量の超過有効性の収束レートは何か？
• RQ4 収束レートは、条件付き確率の滑らかさおよび意思決定境界付近のノイズレベルにどのように依存するか？
• RQ5 しきい値が未知でありデータから推定されなければならない場合でも、高速レートを達成できるか？

主な発見

• Karmic 性およびしきい値準凹性を満たす任意の性能指標に対して、ベイズ最適分類器は条件付き確率 $P(Y=1|X)$ のしきい値関数である。
• 条件付き確率推定と新規のしきい値推定法を組み合わせた本稿で提案するプラグイン分類器は、一貫性と高速収束レートを達成する。
• ガウス生成モデルでは、超過有効性の収束レートが $O(\log n / n)$ に達し、0-1損失の既知の高速レートと一致するが、より広いクラスの有効性関数へと拡張される。
• $\beta$-Hölder スムーズな条件付き確率では、超過有効性の収束レートが $O(n^{-(\min\{\alpha,1\}+1)\beta/(2\beta+d)})$ に達し、$\beta > \max\{d/(2\alpha), d/2\}$ のとき $O(1/\sqrt{n})$ よりも速くなる。
• マージンに基づく低ノイズ仮定を非分解可能な指標へと拡張し、ややきつい滑らかさおよびノイズ条件のもとで高速レートが達成可能であることを示した。
• 従来のアプローチよりも弱い仮定を要する本フレームワークにより、強い単調性や構造的制約を回避し、非分解可能な指標に関する先行研究を一般化した。