[論文レビュー] Learning to Benchmark: Determining Best Achievable Misclassification Error from Training Data

Morteza Noshad, Li Xu+1 more|arXiv (Cornell University)|Sep 16, 2019

Imbalanced Data Classification Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、ε-ボール推定器とチェビシェフ近似を用いて、訓練データから直接正確なベイズ誤分類誤差率を推定する学習によるベンチマークフレームワークを提案する。滑らかさの仮定の下で、この手法はパラメトリックな平均二乗誤差率O(N⁻¹)を達成し、シミュレートされたデータおよび実データの両方で、従来の境界に基づく手法よりも精度と収束速度に優れる。

ABSTRACT

We address the problem of learning to benchmark the best achievable classifier performance. In this problem the objective is to establish statistically consistent estimates of the Bayes misclassification error rate without having to learn a Bayes-optimal classifier. Our learning to benchmark framework improves on previous work on learning bounds on Bayes misclassification rate since it learns the {\it exact} Bayes error rate instead of a bound on error rate. We propose a benchmark learner based on an ensemble of $ε$-ball estimators and Chebyshev approximation. Under a smoothness assumption on the class densities we show that our estimator achieves an optimal (parametric) mean squared error (MSE) rate of $O(N^{-1})$, where $N$ is the number of samples. Experiments on both simulated and real datasets establish that our proposed benchmark learning algorithm produces estimates of the Bayes error that are more accurate than previous approaches for learning bounds on Bayes error probability.

研究の動機と目的

• ベイズ最適分類器を必要としない正確なベイズ誤分類誤差率の統計的一貫性を持つ推定器の開発。
• 従来の手法がベイズ誤差の境界のみを提供するのを改善し、代わりに正確な誤差率を学習して推定すること。
• クラス密度の滑らかさ仮定の下で、ベイズ誤差推定の最適パラメトリック収束レートを達成すること。
• チェビシェフノードを用いた閉形式の最適重みを有するアンサンブル推定フレームワークを設計し、有限標本性能を向上させること。
• 滑らかさ仮定の下で、理論的収束レートが保証される多クラス分類へのフレームワークの拡張。

提案手法

• 二値分類のための基本推定器を提案。ε-ボール密度比推定に依存し、局所的近傍統計を利用する。
• チェビシェフノードを用いて、推定誤差を最小化する重み付きアンサンブルの構築を行う。
• チェビシェフ多項式近似を用いて、アンサンブルの最適重みを閉形式で導出。これにより、最小の平均二乗誤差を保証。
• 基本推定器およびアンサンブル推定器の理論的収束レートを導出。滑らかさ条件の下で、最適なO(N⁻¹)の平均二乗誤差率を証明。
• λ ≥ 3クラスへの一般化により、多クラス分類へのフレームワークの拡張。ε-ボールおよびアンサンブル推定アプローチを一般化。
• 有限訓練標本からの非パラメトリック推定を可能にする、ε-ボール内での密度比の一貫した経験的推定器を採用。

実験結果

リサーチクエスチョン

• RQ1 訓練データからベイズ最適分類器を学習せずに、正確なベイズ誤差率を直接推定可能か？
• RQ2 チェビシェフノードに基づく重み付けのε-ボール推定器アンサンブルは、従来の境界に基づく手法よりも高速に収束するか？
• RQ3 クラス密度の滑らかさ仮定の下で、ベイズ誤差推定が達成可能な最適な平均二乗誤差率は何か？
• RQ4 提案されたベンチマークラーナーの性能は、XGBoost やランダムフォレストといった従来の分類器と比較して、達成可能な誤差率を推定する上で優れているか？
• RQ5 チェビシェフベースのアンサンブルにおけるスケーリング係数の選択は、異なるデータ分布および次元数において推定精度に影響を与えるか？

主な発見

• 提案されたベンチマークラーナーは、クラス密度の滑らかさ仮定の下で、パラメトリックな平均二乗誤差率O(N⁻¹)を達成し、これは最適である。
• 4次元および100次元の等方的正規分布を用いた実験では、N=1600の標本サイズで、アリズメティック重み付け法と比較して、チェビシェフベースのアンサンブル法がMSEを最大92%まで低減した。
• 100次元の等方的正規分布データでは、チェビシェフ法が算術的および一様重み付けスキームよりも顕著に低いMSEを達成し、有限標本収束性能に優れていることが示された。
• スケーリング係数α ∈ [0.3, 0.5] の範囲で、誤差にほとんど変動がなく、ハイパーパramータの選択に対して安定していることが確認され、ロバストネスが示された。
• 50次元のベータ分布を用いた3クラス問題では、ベンチマークラーナーは真のベイズ誤差に収束したが、HPダイバージェンス境界は、大規模な標本サイズでも大きなバイアスを示した。
• 100次元の特徴を有する4クラスのガウス問題では、ベンチマークラーナーがXGBoost やランダムフォレスト分類器よりも正確にベイズ誤差を予測した。これらの分類器は過学習を示し、真の誤差境界を捉えられなかった。