[論文レビュー] Optimally Efficient Sequential Calibration of Binary Classifiers to Minimize Classification Error

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|Aug 19, 2021

Advanced Bandit Algorithms Research参考文献 41被引用数 6

ひとこと要約

本稿では、分類誤差を最小化するための最適なバイナリ分類器スコアのキャリブレーションを実現する逐次的再帰的マージアルゴリズムを提案する。最適な単調なマッピングがしきい値関数（0または1の確率）であることを証明し、1件あたり$O(\log N)$の時間計算量を達成する。これは、クラス重み付き・サンプル重み付きの一般線形損失を含む、一般の損失関数において、最適に効率的な逐次的キャリブレーション手法として初めてのものである。

ABSTRACT

In this work, we aim to calibrate the score outputs of an estimator for the binary classification problem by finding an 'optimal' mapping to class probabilities, where the 'optimal' mapping is in the sense that minimizes the classification error (or equivalently, maximizes the accuracy). We show that for the given target variables and the score outputs of an estimator, an 'optimal' soft mapping, which monotonically maps the score values to probabilities, is a hard mapping that maps the score values to $0$ and $1$. We show that for class weighted (where the accuracy for one class is more important) and sample weighted (where the samples' accurate classifications are not equally important) errors, or even general linear losses; this hard mapping characteristic is preserved. We propose a sequential recursive merger approach, which produces an 'optimal' hard mapping (for the observed samples so far) sequentially with each incoming new sample. Our approach has a logarithmic in sample size time complexity, which is optimally efficient.

研究の動機と目的

• 分類誤差を最小化するための、分類器スコア出力から確率への最適な単調マッピングを特定すること。
• 標準的な正答率を超えて、クラス重み付き・サンプル重み付き・一般線形損失へと最適キャリブレーションを拡張すること。
• 各新しいサンプルに対して効率的に最適しきい値を更新できる、逐次的でオンラインなアルゴリズムを開発すること。
• 動的キャリブレーションにおいて、1件あたり$O(\log N)$の最適時間計算量を達成すること。
• 再トレーニングなしに判別力を維持しながらキャリブレーションを改善する後処理ソリューションを提供すること。

提案手法

• 新しいサンプルが到着する度に最適なしきい値を動的に更新することで、最適なしきい値を維持する逐次的再帰的マージアルゴリズムを提案する。
• サンプルの部分集合とその損失寄与度を表すために、補助的集合$\mathcal{B} = \{X_0, X_1, L_0, L_1\}$を用いるデータ構造を採用する。
• 再帰的結合の過程で、$L_1^0 + L_0^1$の符号に基づくマージルールを適用し、最適なしきい値を決定する。
• 深さが$O(\log N)$で有界な下向きの再帰を用い、対応する対数的更新時間の保証を達成する。
• スコア値の順序付き隣接パーティションを保証することで、マッピングの単調性を維持する。
• 再帰の過程で損失および境界情報の局所的伝播を用いることで、1回の更新が$O(1)$時間で実現される。

実験結果

リサーチクエスチョン

• RQ1 分類誤差を最小化するための、分類器スコアから確率への最適な単調マッピングは何か？
• RQ2 クラス重み付きまたはサンプル重み付き誤差指標下でも、最適なマッピングはしきい値関数のままであるか？
• RQ3 オンラインで逐次的に動作するアルゴリズムは、1件あたり$O(\log N)$の時間で最適なしきい値を維持できるか？
• RQ4 効率的かつ最適な更新を可能にする再帰的データ構造は存在するか？
• RQ5 本手法は、標準的な正答率を超えて、任意の線形損失関数へと一般化可能か？

主な発見

• 分類誤差を最小化する最適キャリブレーションマッピングは、すべてのスコアを0または1にマップするハードしきい値関数である。
• このしきい値特性は、クラス重み付き・サンプル重み付き・一般線形損失関数の両方においても成り立つ。
• 提案された逐次的再帰的マージアルゴリズムは、1件あたり$O(\log N)$の時間計算量を達成し、これは最適に効率的である。
• アルゴリズムは、補助損失集合を用いた順序付きスコアパーティションの再帰的マージを通じて、最適なしきい値を維持する。
• 再帰の深さは$O(\log N)$で有界であり、これは、順序のないサンプルの到着に対しても、対数的更新時間の保証を提供する。
• 損失および境界情報の局所的伝播により、各更新操作が$O(1)$時間で実行可能である。