[論文レビュー] Evaluating State-of-the-Art Classification Models Against Bayes Optimality

Ryan Theisen, Huan Wang+3 more|arXiv (Cornell University)|Jun 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 7

ひとこと要約

本稿では、正規化フローとベイズ誤差の可逆変換における不変性を活用することで、最先端の分類モデルの正確なベイズ誤差を計算する手法を提案する。ベンチマークデータセット上でフロー・モデルを学習し、温度を変化させることで、制御されたベイズ誤差を持つ合成データセットを生成し、SOTAモデルが一部のタスクではほぼ最適性能を達成しているが、すべてのタスクでそうではないことを明らかにした。これにより、モデル評価とデータセットの難易度評価のための絶対基準が得られる。

ABSTRACT

Evaluating the inherent difficulty of a given data-driven classification problem is important for establishing absolute benchmarks and evaluating progress in the field. To this end, a natural quantity to consider is the \emph{Bayes error}, which measures the optimal classification error theoretically achievable for a given data distribution. While generally an intractable quantity, we show that we can compute the exact Bayes error of generative models learned using normalizing flows. Our technique relies on a fundamental result, which states that the Bayes error is invariant under invertible transformation. Therefore, we can compute the exact Bayes error of the learned flow models by computing it for Gaussian base distributions, which can be done efficiently using Holmes-Diaconis-Ross integration. Moreover, we show that by varying the temperature of the learned flow models, we can generate synthetic datasets that closely resemble standard benchmark datasets, but with almost any desired Bayes error. We use our approach to conduct a thorough investigation of state-of-the-art classification models, and find that in some -- but not all -- cases, these models are capable of obtaining accuracy very near optimal. Finally, we use our method to evaluate the intrinsic "hardness" of standard benchmark datasets, and classes within those datasets.

研究の動機と目的

• 理論的最適誤差（ベイズ誤差）を正確に計算することで、相対的比較に依存しない分類モデル性能の絶対基準を確立すること。
• 高次元の現実世界のデータセットにおけるベイズ誤差の計算が困難である問題に対処し、正規化フローを用いて真のデータ分布を近似すること。
• スタイルと構造が標準ベンチマークに類似した、既知で調整可能なベイズ誤差を持つ合成データセットの制御された生成を可能にすること。
• フローに基づくモデルを用いて、クラスごとのベイズ誤差を推定することで、分類タスクおよび個々のクラスの本質的難易度を評価すること。
• 多様なベンチマークデータセットにおいて、最先端モデルが理論的性能限界にどれほど近いかを調査すること。

提案手法

• 正規化フローを用いて、データ空間から標準ガウス分布への可逆的・一対一の変換を学習し、変換された空間上で正確なベイズ誤差を計算可能にする。
• 可逆変換におけるベイズ誤差の不変性を活用し、元のデータ分布のベイズ誤差が、潜在空間における学習済みのガウス混合分布の誤差と等価であることを保証する。
• 潜在空間におけるガウス分布に従うクラス条件付き分布の正確なベイズ誤差を、ホルムズ＝ダイアコニス＝ロス統合を用いて高効率に計算する。
• 学習済みフロー・モデルの温度を調整することで、合成データセットのベイズ誤差を制御可能にし、データ分布的特徴を保持したまま難易度の系統的変動を実現する。
• 負例がガウス分布の混合である一対多分類タスクに対しては、モンテカルロ推定を用い、クラスごとの難易度分析を可能にする。
• 標準データセット（例：CIFAR-10, EMNIST）上でフロー・モデルを学習し、評価用にベイズ誤差が既知の合成データを生成する。

実験結果

リサーチクエスチョン

• RQ1 最先端の分類モデルは、標準ベンチマークデータセットにおいて理論的ベイズ最適誤差にどれほど近いか？
• RQ2 分布と構造が実際のベンチマークデータセットに類似した、制御可能で既知のベイズ誤差を持つ合成データセットを生成できるか？
• RQ3 個々のクラスの本質的難易度は、その一対多ベイズ誤差によってどのように測定できるか？
• RQ4 真のデータ分布のベイズ誤差と、フローで近似された分布のベイズ誤差はどのように比較されるか？そのベンチマークへのインパクトは何か？
• RQ5 SOTAモデルの性能は、データ分布の根本的限界にどれほど近いか？その近接度はどの程度か？

主な発見

• CIFAR-10のベイズ誤差は1.64e-1と推定され、EMNIST（byclass）では2.40e-1であり、SOTAモデルはこれらのデータセットでほぼ最適な性能を達成している。
• CIFAR-100では、最も難しいクラス（リス）のベイズ誤差は、最も簡単なクラス（ワードローブ）の約5倍に達しており、クラス間の本質的難易度の差が顕著に現れている。
• SOTAモデルの性能は、推定されたベイズ誤差と強く相関しており、本手法がモデル評価の信頼できる絶対基準を提供していることを示している。
• フロー・モデルの温度を変化させることで、広範囲にわたるベイズ誤差を持つ合成データセットを成功裏に生成し、難易度レベルに応じたモデル挙動の制御された分析が可能になった。
• 一部のモデルは近似的に最適性能に達しているが、依然としてSOTAとベイズ最適との差が顕著に現れるタスクやクラスが存在し、改善の余地があることが明らかになった。
• 本手法により、任意の希望の難易度の無限の合成データを生成可能な、事前学習済みフロー・モデルのライブラリの構築が可能となり、耐性テストや誤った相関の低減に有用である。