[論文レビュー] Measuring Classification Decision Certainty and Doubt

Alexander Berenbeim, Iain J. Cruickshank+3 more|arXiv (Cornell University)|Mar 25, 2023

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、多クラス分類モデルにおける不確実性を定量化する直感的で数学的に根拠のある指標として、確実性と疑念スコアを導入する。確率の差とその逆数を用いたペairワイズおよび原始的（raw）な定式化を提案し、射影幾何学による幾何的解釈と、退化した確率割り当てを罰するコスト関数を組み合わせることで、不確実性に配慮したモデル評価および訓練の向上を可能にする。

ABSTRACT

Quantitative characterizations and estimations of uncertainty are of fundamental importance in optimization and decision-making processes. Herein, we propose intuitive scores, which we call certainty and doubt, that can be used in both a Bayesian and frequentist framework to assess and compare the quality and uncertainty of predictions in (multi-)classification decision machine learning problems.

研究の動機と目的

• 多クラス分類モデルにおける意思決定の確実性と疑念を、解釈可能で定量的な指標として開発すること。
• 予測確率の尾部確率（tail probabilities）が結果に顕著に影響を与える安全が求められるAI応用分野において、不確実性に配慮した意思決定を可能にすること。
• ベイジアンおよび頻度主義の両フレームワーク内で、逆数的で幾何学的に解釈可能なスコアとして、確実性と疑念を形式化すること。
• 疑念を最小化し、曖昧な予測を罰するコスト関数を提案し、モデルのロバストネスを向上させること。
• 異なるニューラルネットワークアーキテクチャの不確実性特性に基づいて、それらを比較するためのフレームワークを提供すること。

提案手法

• ペアワイズ確実性を、最大確率と他の各クラスの確率の差として定義する：$\chi_i = \pi_j(\mathbf{p}) - \pi_i(\mathbf{p})$（$i \neq j$ に対して）。
• ペアワイズ疑念を、この差の逆数として定義する：$\delta_i = 1 / (\pi_j(\mathbf{p}) - \pi_i(\mathbf{p}))$（$i \neq j$ に対して）、$i = j$ の場合は $\delta_i = 0$ とする。
• 非正規化されたロジット $\mathbf{y}$ を用いた原始的（raw）確実性と疑念を導入する：$\xi_i = \pi_j(\mathbf{y}) - \pi_i(\mathbf{y})$ および $\rho_i = 1 / (\pi_j(\mathbf{y}) - \pi_i(\mathbf{y}))$（$i \neq j$ に対して）。
• すべてのクラス間のペアワイズ確実性を表現するために、歪対称行列 $\mathbf{C}^o(\mathbf{p}) = \mathbf{p}\mathbf{1}^T - \mathbf{1}\mathbf{p}^T$ および $\mathbf{C}(\mathbf{p}) = \mathbf{I} + \mathbf{C}^o(\mathbf{p})$ を用いる。
• 疑念を $\mathbf{D}(\mathbf{p}) = \text{Inv}(\mathbf{C}(\mathbf{p})) - \mathbf{I}$ として提案する。ここで Inv は要素ごとの逆数を表し、対称な場合に誤った単位行列の結果を避けるために用いる。
• ステレオグラフィック射影と射影幾何学を用いて、$\mathbb{R}\mathbb{P}^1$ 上に疑念を表現し、$\arcsin\left(\frac{1 - \prod_{i \neq j} \chi_i^2}{1 + \prod_{i \neq j} \chi_i^2}\right)$ を基礎としたコスト関数を導入して、高い疑念を罰する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能でスケーラブルな指標を用いて、多クラス分類モデルにおける意思決定の確実性と疑念を形式的に定量化する方法は何か？
• RQ2 予測確率がほぼ等しい場合に直感的な不確実性の概念を最もよく捉える幾何的フレームワークは何か？
• RQ3 確実性と疑念スコアは、安全が求められる応用分野におけるモデル評価および訓練をどのように改善できるか？
• RQ4 最適化に適した滑らかで微分可能であるような、疑念を効果的に最小化するコスト関数は何か？
• RQ5 異なるニューラルネットワークアーキテクチャにおいて、不確実性行動の観点から確実性と疑念スコアはどのように比較できるか？

主な発見

• 提案された確実性と疑念スコアは互いに逆数の関係にあり、上位2つの予測確率が等しい場合には、0の確実性と無限大の疑念を示し、最大の不確実性を反映する。
• 原始的（raw）疑念スコア $\rho_i$ は、トップロジットと他の各ロジットの差の逆数として定義されており、異なるモデル間での意味のある比較を保証する。
• 行列ベースの確実性表現 $\mathbf{C}(\mathbf{p})$ は正則であり、その要素ごとの逆数から単位行列を引いた $\mathbf{D}(\mathbf{p}) = \text{Inv}(\mathbf{C}(\mathbf{p})) - \mathbf{I}$ が、$\mathbf{C}^{-1}$ よりもより正確な疑念測度を提供する。
• 射影幾何学の使用により、疑念が $\mathbb{R}\mathbb{P}^1$ 上の点として表現可能となり、確率が等しい場合に $[0:1]$ が無限大の疑念に対応する。
• 提案されたコスト関数 $\arcsin\left(\frac{1 - \prod \chi_i^2}{1 + \prod \chi_i^2}\right)$ は、$\prod (p_1 - p_i) = 0$ となる退化した確率割り当て（高い曖昧さを示す）を罰する。
• このフレームワークは確率ベースおよびロジットベースの両方の定式化をサポートしており、実装の柔軟性と標準的なディープラーニングパイプラインとの互換性を実現する。