[論文レビュー] Multiclass Classification Calibration Functions

Bernardo Ávila Pires, Csaba Szepesvári|arXiv (Cornell University)|Sep 20, 2016

Advanced Statistical Process Monitoring参考文献 27被引用数 12

ひとこと要約

本稿は、多クラス分類におけるキャリブレーション関数を導出するための簡略化されたフレームワークを導入し、複雑な多クラス問題をより単純なバイナリに類似した関数に還元する。これにより、ロジスティック回帰やワン・バイス・オール損失を含む多数のサーヴィェイ損失に対して、一貫的かつ効率的にキャリブレーション関数を導出可能となり、ノイズ条件下でのよりタイトなリスクバウンドと改善されたキャリブレーション保証が得られる。

ABSTRACT

In this paper we refine the process of computing calibration functions for a number of multiclass classification surrogate losses. Calibration functions are a powerful tool for easily converting bounds for the surrogate risk (which can be computed through well-known methods) into bounds for the true risk, the probability of making a mistake. They are particularly suitable in non-parametric settings, where the approximation error can be controlled, and provide tighter bounds than the common technique of upper-bounding the 0-1 loss by the surrogate loss. The abstract nature of the more sophisticated existing calibration function results requires calibration functions to be explicitly derived on a case-by-case basis, requiring repeated efforts whenever bounds for a new surrogate loss are required. We devise a streamlined analysis that simplifies the process of deriving calibration functions for a large number of surrogate losses that have been proposed in the literature. The effort of deriving calibration functions is then surmised in verifying, for a chosen surrogate loss, a small number of conditions that we introduce. As case studies, we recover existing calibration functions for the well-known loss of Lee et al. (2004), and also provide novel calibration functions for well-known losses, including the one-versus-all loss and the logistic regression loss, plus a number of other losses that have been shown to be classification-calibrated in the past, but for which no calibration function had been derived.

研究の動機と目的

• サーヴィェイリスクバウンズを真のリスクバウンズに変換するために不可欠な、多クラスサーヴィェイ損失のキャリブレーション関数の導出を簡略化すること。
• 新たな損失に対して、個別にキャリブレーション関数を導出する必要があった先行研究における高い作業負荷を解消すること。
• バイナリ損失のキャリブレーション技術を、検証可能な条件のセットを用いて多クラス設定に一般化すること。
• ロジスティック回帰やワン・バイス・オールのようないくつかの広く使われる損失に対して、これまで存在しなかった新しいキャリブレーション関数を提供すること。
• バーマン＝ツィバコフのノイズ条件の下で、バイナリ損失の結果を多クラス設定に拡張することで、より良いリスクバウンドを得ること。

提案手法

• サーヴィェイ損失が満たすことでキャリブレーション関数の存在を保証する検証可能な条件（条件1～8）のセットを導入する。
• マージンに基づくおよび分解可能な損失に共通する構造を活用し、多クラスのキャリブレーションをバイナリに類似したキャリブレーション関数に還元する。
• コストインセンシティブな設定におけるリーらの損失に対して、既知のキャリブレーション関数をフレームワークで再発見する。
• 提案された条件の検証により、分離不能なバックグラウンド識別損失およびロジスティック回帰損失に対して、新しいキャリブレーション関数を導出する。
• バートレットら（2006年）のバーマン＝ツィバコフのノイズ条件の下での改善されたキャリブレーション結果を、多クラスに一般化する。
• フレームワークを用いて、$L^{\mathrm{LLW}}$、$L^{\mathrm{Zhang}}$、$L^{\mathrm{WW}}$ などの損失を分析・比較し、条件の違反によって還元が失敗するケースを同定する。

実験結果

リサーチクエスチョン

• RQ1 個別に導出する必要のない、再利用可能な汎用フレームワークを開発し、多クラスサーヴィェイ損失のキャリブレーション関数を導出可能にすることができるか？
• RQ2 既存のバイナリ損失キャリブレーション技術を、多クラス分類設定に一般化する方法は何か？
• RQ3 多クラスサーヴィェイ損失が、そのキャリブレーション関数を簡略化して導出可能とするために満たすべき条件は何か？
• RQ4 このフレームワークを用いることで、バーマン＝ツィバコフのノイズ条件下でより良いリスクバウンドを得られるか？
• RQ5 広く使われる多クラス損失（例：ロジスティック、ワン・バイス・オール）を、この手法で効果的に分析できるか？ その場合のキャリブレーション関数は何か？

主な発見

• 著者らは、ロジスティック回帰損失およびワン・バイス・オール損失に対して、従来の文献に存在しなかった新しいキャリブレーション関数を導出した。
• フレームワークは、コストインセンシティブな設定におけるリーらの損失の既存のキャリブレーション関数を再発見・精緻化し、先行研究よりもタイトなバウンドを達成した。
• 条件を満たす損失に対しては、ナーブな0-1損失のサーヴィェイ損失による上界よりも、よりタイトで情報量の多いキャリブレーション関数が得られる。
• 本アプローチにより、バートレットら（2006年）のバーマン＝ツィバコフのノイズ条件の下での改善されたキャリブレーション結果が、多クラス問題に一般化された。
• フレームワークは限界も明らかにした：$L^{\mathrm{ZZH}}$ や $L^{\mathrm{WW}}$ のような損失は、重要な条件を満たさないため、別個の解析または適応が必要となる。
• 本手法は、サーヴィェイ損失のスケーリングがキャリブレーション関数に影響することを明らかにした。これは、リスクバウンドのタイトさや正規化の選択に影響を及える。