[論文レビュー] Entropy methods for the confidence assessment of probabilistic classification models

Gabriele Nunzio Tornetta|arXiv (Cornell University)|Mar 28, 2021

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、確率的分類モデルの信頼性を評価するためのエントロピーに基づく指標を導入し、0から1の間で有界な正規化エントロピー得点を提案することで、予測の信頼性を定量化する。また、補集合ナイーブベイズにおける観察された信頼性の低下を理論的に解明し、その原因が確率分布が一様に近づく傾向にあることであると示している。さらに、テキスト分類タスクにおける正解率対エントロピーおよび純度プロットを用いて、この仮説を実証的に検証した。

ABSTRACT

Many classification models produce a probability distribution as the outcome of a prediction. This information is generally compressed down to the single class with the highest associated probability. In this paper, we argue that part of the information that is discarded in this process can be in fact used to further evaluate the goodness of models, and in particular the confidence with which each prediction is made. As an application of the ideas presented in this paper, we provide a theoretical explanation of a confidence degradation phenomenon observed in the complement approach to the (Bernoulli) Naive Bayes generative model.

研究の動機と目的

• 標準的な評価指標が正解率やクラス予測を超えてモデルの信頼性を捉えられていないという限界に対処すること。
• 予測確率分布の鋭さを反映する、[0,1]の有界な信頼性指標をエントロピーを用いて形式化すること。
• 標準ナイーブベイズと比較して、補集合ナイーブベイズモデルにおける観察された信頼性の低下を理論的に説明すること。
• エントロピーと純度スコアが、正しくかつ信頼性の高い予測を行うモデルを同定するのにどのように有効であるかを示すこと。
• 特にしきい値に基づく推論ルールが適用される状況において、高信頼性の予測が不可欠となる実世界の応用における意思決定を支援すること。

提案手法

• 予測の信頼性を[0,1]スケールで定量化するため、正規化エントロピー得点 $ H_{\text{norm}}[p] = \frac{H[p]}{\log n} $ を定義する。ここで $ H[p] = -\sum_{c \in C} p(c) \log p(c) $ である。
• 正解率が類似するモデル間の選択において、エントロピー得点をバイアスとして用い、エントロピーが低い（予測の信頼性が高い）モデルを優遇する。
• 補集合ナイーブベイズモデルの分析にエントロピー得点を適用し、その学習目的が確率分布を一様に近づける傾向にあることの裏付けを示す。
• 正解率対エントロピー得点、および正解率対純度の散布図を用いて、モデル間の比較を行う。純度は最大予測確率を測定する。
• 訓練データに対してしきい値ベースのフィルタリングを適用し、クラス数を制御し、正解率と信頼性のトレードオフを評価する。
• 一貫した評価プロトコルに従い、3つのデータセット（20 Newsgroups（バランスあり・なし）、Wikipedia Movie Plots）を用いて、結果の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 補集合ナイーブベイズモデルは、高い正解率を達成しているにもかかわらず、なぜ低い信頼性の予測を生成するのか？
• RQ2 エントロピーに基づく指標は、標準的な正解率を超えて確率的分類器の信頼性を効果的に捉え、定量化できるか？
• RQ3 エントロピーと純度スコアは、しきい値に基づく予測システムにおけるモデルの性能と意思決定の信頼性とどのように相関するか？
• RQ4 正解率が同等のモデル間で、エントロピー得点がどれほど実用的なモデル選択のツールとして機能するか？
• RQ5 補集合ナイーブベイズが確率分布を一様に近づける傾向を示す理論的根拠は何か？

主な発見

• 補集合ナイーブベイズモデルは、同等またはより高い正解率を達成しているにもかかわらず、標準ナイーブベイズと比較して顕著に低い信頼性スコア（高いエントロピー）を示す。
• エントロピー得点のプロットから、補集合ナイーブベイズモデルは[0,1]スケールの中央付近に集まっていることが明らかであり、これは低～中程度の信頼性を示している。一方、他のモデルは高い信頼性の予測を示している。
• 純度プロットは、補集合ナイーブベイズモデルが最大確率が低い予測を生成しており、純度対正解率空間の下部中央領域に位置していることを確認した。
• 理論的分析により、補集合ナイーブベイズの目的関数が確率分布の一様性を内因的に促進する仕組みにあることが判明し、観察された信頼性の低下を説明できた。
• 訓練データに対するしきい値ベースのフィルタリングにより、より高いしきい値（少ないクラス数）を設定すると正解率は上昇するが、同時に信頼性も上昇することが示され、モデルの範囲と信頼性のトレードオフが明確になった。
• エントロピー得点は、正しくかつ信頼性の高い予測を行うモデルを同定するための実用的で解釈可能な指標を提供し、特に高信頼性の意思決定が求められる応用において極めて有用である。