[論文レビュー] No Cost Likelihood Manipulation at Test Time for Making Better Mistakes in Deep Networks

Shyamgopal Karthik, Ameya Prabhu+2 more|arXiv (Cornell University)|Apr 1, 2021

Imbalanced Data Classification Techniques参考文献 30被引用数 6

ひとこと要約

本稿では、再訓練を伴わず、ラベル階層に基づいてソフトマックス尤度を再重み付けすることで、深層学習分類器の誤りの深刻度を向上させるpost-hocなテスト時補正手法である条件付きリスク最小化（CRM）を提案する。CRMは、最小限の精度低下で複数のデータセットにおいてトップ-k予測の平均階層的距離を顕著に低減し、再訓練を要する最先端の階層認識手法を上回る性能を示すとともに、モデルのキャリブレーションを維持する。

ABSTRACT

There has been increasing interest in building deep hierarchy-aware classifiers that aim to quantify and reduce the severity of mistakes, and not just reduce the number of errors. The idea is to exploit the label hierarchy (e.g., the WordNet ontology) and consider graph distances as a proxy for mistake severity. Surprisingly, on examining mistake-severity distributions of the top-1 prediction, we find that current state-of-the-art hierarchy-aware deep classifiers do not always show practical improvement over the standard cross-entropy baseline in making better mistakes. The reason for the reduction in average mistake-severity can be attributed to the increase in low-severity mistakes, which may also explain the noticeable drop in their accuracy. To this end, we use the classical Conditional Risk Minimization (CRM) framework for hierarchy-aware classification. Given a cost matrix and a reliable estimate of likelihoods (obtained from a trained network), CRM simply amends mistakes at inference time; it needs no extra hyperparameters and requires adding just a few lines of code to the standard cross-entropy baseline. It significantly outperforms the state-of-the-art and consistently obtains large reductions in the average hierarchical distance of top-$k$ predictions across datasets, with very little loss in accuracy. CRM, because of its simplicity, can be used with any off-the-shelf trained model that provides reliable likelihood estimates.

研究の動機と目的

• 既存の階層認識深層学習モデルが低深刻度の誤りを増加させるという限界を是正すること。これは、高い指標スコアを達成しても実用的価値が損なわれる要因となる。
• 現在用いられる誤り深刻度指標が誤解を招く可能性があり、より深刻度の高い誤りを少なくするモデルではなく、低深刻度の誤りを増やすモデルを好む傾向があることを示すこと。
• 再訓練やハイパーパrameterチューニングを必要とせず、シンプルなpost-hocテスト時補正としての条件付きリスク最小化（CRM）を提案・検証すること。この補正により、再訓練なしで予測の順位付けが向上することを目的とする。
• CRMがトップ-k予測における階層的距離を顕著に低減する一方で、モデルのキャリブレーションと精度を維持できることを示すこと。
• 複雑で再訓練を要する階層認識手法の代替として、古典的手法であるCRMの実用的かつ効果的な再評価を提唱すること。

提案手法

• テスト時に条件付きリスク最小化（CRM）を適用し、ラベル階層に基づいた事前定義されたコスト行列を用いてクラス尤度を再重み付けする。
• 標準的な交差エントロピー学習済みモデルのソフトマックス出力を、CRMの入力尤度推定として用いる。
• 誤り深刻度を、階層（例：WordNet）における予測ラベルと真のラベル間のグラフ距離（例：LCA高さ）として定義する。
• リスク最小化問題を、予測の期待的な階層的距離を最小化する形で定式化し、尤度の閉形式更新により解く。
• 再訓練や追加のハイパーパrameterが不要な軽量なpost-processingステップとしてCRMを統合し、数行のコードで実装可能である。
• 温度スケーリングを用いてベースラインモデルのキャリブレーションを改善するが、CRM尤度は温度スケーリングなしでも良好にキャリブレートされていることを示す。

実験結果

リサーチクエスチョン

• RQ1 階層認識学習で用いられる現在の誤り深刻度指標は、誤りの質を真正に反映しているのか。それとも、低深刻度の誤りを増やすことで操作可能なのか。
• RQ2 シンプルでpost-hocなテスト時補正は、再訓練を要する複雑な階層認識深層学習手法を上回り、トップ-k予測の階層的距離を低減できるか。
• RQ3 訓練時にラベル階層を組み込むとモデルのキャリブレーションにどのような影響が生じるか。また、尤度の信頼性は低下するか。
• RQ4 古典的手法のCRMが、現代の深層学習において順位付け、精度、キャリブレーションの向上を同時に達成できるか。
• RQ5 訓練時における階層統合の代替として、実用的で低コストな手法は存在するか。その手法はモデルの信頼性と性能を維持できるか。

主な発見

• CRMは、ティアード-ImageNet や iNaturalist-H を含む複数のデータセットにおいて、トップ-k予測の平均階層的距離を顕著に低減し、最先端の手法を上回る。
• k=1からk=5の範囲でCRMの改善効果は一貫しており、階層的距離が大幅に低減される一方、トップ-1精度は維持またはわずかに低下する。
• 階層認識損失（例：ソフトラベル、HXE、ラベルスムージング）を用いて学習したモデルは、温度スケーリングを施す前には深刻なキャリブレーションの不備を示し、期待キャリブレーション誤差（ECE）が最大88.32％に達する。
• 温度スケーリングはベースラインモデルのキャリブレーション不備を緩和するが、vanilla交差エントロピー基準モデルやCRM予測のキャリブレーション水準にまで近づけることはできない。
• CRM尤度は温度スケーリングなしでも良好にキャリブレートされており、CRM予測のECE/MCEスコアは元の交差エントロピーモデルとほぼ同一である。
• 提案手法は再訓練もハイパーパrameterも不要で、わずか数行のコードで実装可能であり、信頼性のある尤度を提供する任意のオフザシェル深層ネットワークに容易に統合可能である。