[論文レビュー] Calibrated Surrogate Maximization of Linear-fractional Utility in Binary Classification

Han Bao, Masashi Sugiyama|arXiv (Cornell University)|May 29, 2019

Machine Learning and Algorithms参考文献 48被引用数 4

ひとこと要約

本稿では、二値分類における線形分数型の性能指標（例：FβスコアやJaccardインデックス）を直接最大化するための補正済み代替目的関数を提案する。適切な補正条件を満たすことで、計算可能な下界を構築することで、勾配ベース最適化が効率的に行え、統計的一貫性を保証する。特に少数サンプル領域では、プラグイン法に比べて優れた性能を示す。

ABSTRACT

Complex classification performance metrics such as the F${}_β$-measure and Jaccard index are often used, in order to handle class-imbalanced cases such as information retrieval and image segmentation. These performance metrics are not decomposable, that is, they cannot be expressed in a per-example manner, which hinders a straightforward application of M-estimation widely used in supervised learning. In this paper, we consider linear-fractional metrics, which are a family of classification performance metrics that encompasses many standard ones such as the F${}_β$-measure and Jaccard index, and propose methods to directly maximize performances under those metrics. A clue to tackle their direct optimization is a calibrated surrogate utility, which is a tractable lower bound of the true utility function representing a given metric. We characterize sufficient conditions which make the surrogate maximization coincide with the maximization of the true utility. Simulation results on benchmark datasets validate the effectiveness of our calibrated surrogate maximization especially if the sample sizes are extremely small.

研究の動機と目的

• クラス不均衡な二値分類において、Fβ や Jaccard インデックスのような非分解型性能指標を最適化する課題に対処すること。
• これらの指標の非分解性により生じる従来のM推定法の限界を克服すること。
• 繰り返し再訓練や高サンプル後の確率推定を必要とせず、直接的かつモデルに依存しない計算効率の良い方法で、効用を直接最大化すること。
• Z推定理論を用いて、有限サンプル下での経験的推定量の一貫性を保証すること。
• 代替目的関数の最大化が真の効用最大化と一致する十分な補正条件を導出すること。

提案手法

• 真の線形分数型効用関数の計算可能な下界として、補正済み代替効用関数を導入する。
• 計算効率を高めるために、凹関数と準凹関数のプログラムを組み合わせた2段階の最適化手続きを定式化する。
• 代替目的関数の最大化が真の効用最大化と一致することを保証するための十分条件を導出する。
• 勾配が消えないことと勾配推定が不偏であることから、代替目的関数に対して勾配ベース最適化（U-GD および U-BFGS）を適用する。
• 有限サンプル下での経験的推定量の一貫性を確立するために、Z推定理論を用いる。
• バイアスを低減するため、$\mathcal{S}_0$ を代替関数の推定に、$\mathcal{S}_1$ を最適化に使用する分割サンプルアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 線形分数型指標の直接最大化を可能にする補正済み代替効用関数を構築できるか？
• RQ2 代替効用関数の最大化が、真の効用関数の最大化と同一の結果をもたらす条件は何か？
• RQ3 計算効率とサンプル複雑性の観点から、本手法はプラグイン法や繰り返し再訓練法と比べてどのように異なるか？
• RQ4 特に少数サンプル領域において、補正パラメータ $\tau$ の影響は何か？
• RQ5 サンプルサイズが増加するに従って、代替法に基づく経験的推定量は統計的に一貫するか？

主な発見

• サンプルサイズが小さい場合（例：20～40）、特に cod-rna、diabetes、ionosphere データセットにおいて、F1 スコアおよび Jaccard スコアの観点で、プラグイン法に比べて本手法が優れている。
• 100～400のサンプルサイズでも、U-GD や U-BFGS といった勾配ベース手法がプラグイン法を上回る性能を示しており、これは全データセットでプラグイン法が優勢であるとされる結果とは矛盾する。
• 多くの指標とデータセットにおいて、$\tau$ が1に近づくほど性能が向上するが、極値が存在するため、$\tau$ の選択に感度があることが示された。
• 理論的分析により、提案された補正条件下で経験的推定量が一貫していることが確認され、真の効用最大化器への収束が保証された。
• 本手法はモデルに依存せず、後方確率推定の高サンプル複雑性や繰り返し再訓練の計算負荷を回避できる。
• 少数サンプル領域では、確率推定が不正確になるためプラグイン法が失敗するが、代替法ベースのアプローチは信頼できる代替手段を提供する。