[論文レビュー] Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks

Amir Rahimi, Amirreza Shaban+3 more|arXiv (Cornell University)|Mar 15, 2020

Anomaly Detection Techniques and Applications参考文献 11被引用数 21

ひとこと要約

本論文は、多クラスニューラルネットワークにおけるクラススコアの相対順序を保つ学習可能なキャリブレーション関数である、内部順序保存関数を提案する。入力順序と出力順序を一致させることで、トップ-k予測が変化しないように保証するとともに、表現力があり微分可能なニューラルネットワークアーキテクチャを可能にし、温度スケーリングやディリクレキャリブレーションを凌駕する性能を、多様なデータセットおよびモデルで示す。

ABSTRACT

Predicting calibrated confidence scores for multi-class deep networks is important for avoiding rare but costly mistakes. A common approach is to learn a post-hoc calibration function that transforms the output of the original network into calibrated confidence scores while maintaining the network's accuracy. However, previous post-hoc calibration techniques work only with simple calibration functions, potentially lacking sufficient representation to calibrate the complex function landscape of deep networks. In this work, we aim to learn general post-hoc calibration functions that can preserve the top-k predictions of any deep network. We call this family of functions intra order-preserving functions. We propose a new neural network architecture that represents a class of intra order-preserving functions by combining common neural network components. Additionally, we introduce order-invariant and diagonal sub-families, which can act as regularization for better generalization when the training data size is small. We show the effectiveness of the proposed method across a wide range of datasets and classifiers. Our method outperforms state-of-the-art post-hoc calibration methods, namely temperature scaling and Dirichlet calibration, in several evaluation metrics for the task.

研究の動機と目的

• 高信頼度の予測が信頼性に欠ける、特に高リスクな応用分野で顕著なキャリブレーションの不備を是正すること。
• 任意の事前学習済みネットワークのトップ-k予測を保持するが、柔軟でありながら制約のあるキャリブレーション関数の族を構築すること。
• キャリブレーションデータセットが小さい状況下での一般化を向上させるために、順序不変および対角部分族を導入すること。
• 標準的なコンponentsを用いて複雑な内部順序保存関数を表現可能なニューラルネットワークアーキテクチャを設計すること。
• 温度スケーリングやディリクレキャリブレーションといった既存の事後キャリブレーション手法を、キャリブレーション誤差と頑健性の両面で凌駆すること。

提案手法

• 入力ロジットの相対順序がすべての次元において出力ロジットに保存される、内部順序保存関数の概念を導入する。
• 標準的な層（例：MLP、正規化）から構成されるニューラルネットワークアーキテクチャを提案し、それが内在的に内部順序保存性を満たすようにする。
• 2つの部分族を定義する：順序不変関数（入力順序に対して置換不変性を有する）および対角関数（各クラスに同一の変換を適用する）。
• 単体領域を用いて関数の挙動を可視化・制約し、仮説空間を縮小し、一般化を向上させる。
• 保持されたキャリブレーションデータセット上で、ネットワークの精度を保ちながら、微分可能な学習目的を用いてキャリブレーション関数を学習する。
• 任意の事前学習済みディープネットワークに対して、最終のソフトマックス層を学習済みキャリブレーション関数に置き換えることで、後処理的に適用する。

実験結果

リサーチクエスチョン

• RQ1 任意のディープネットワークのトップ-k予測を保持する、汎用的かつ学習可能なキャリブレーション関数を設計できるか？
• RQ2 限られたキャリブレーションデータ下での一般化を向上させるために、キャリブレーション関数の仮説空間をどのように制約できるか？
• RQ3 順序不変性や対角性といった、アーキテクチャ的およびインダクティブバイアスの選択が、より良いキャリブレーション性能をもたらすか？
• RQ4 内部順序保存関数アーキテクチャは、温度スケーリングやディリクレキャリブレーションといった既存の事後キャリブレーション手法を凌駆できるか？
• RQ5 提案手法は、多様なデータセットおよびモデルアーキテクチャにおいて、高い精度を維持しながら、顕著にキャリブレーション誤差を低減できるか？

主な発見

• 提案された内部順序保存（OP）手法は、すべてのデータセットの平均で最小のマージナルキャリブレーション誤差を達成し、次に良い手法の0.725と比較して相対誤差が0.213にまで低下した。
• 順序不変（OI）部分族は、12のデータセットのうち7つでマージナルキャリブレーション誤差が最良であり、CIFAR-100およびImageNetでも同様の結果を示した。
• DenseNet-40を用いたCIFAR-100では、OI手法がマージナルキャリブレーション誤差を0.00000まで低減し、未キャリブレーションのベースラインでさえも上回った。
• すべてのデータセットで期待キャリブレーション誤差（ECE）が一貫して低減され、OIバリアントは12のベンチマークのうち8つで最低のECEを達成した。
• 対角（Diag）バリアントは、小さなキャリブレーションセットでも優れた性能を示し、パラメータ共有の削減による一般化の向上を示した。
• マージナルキャリブレーション誤差において、OI手法は未キャリブレーションベースラインに対して平均72.5％の相対誤差低減を達成し、温度スケーリングやディリクレキャリブレーションを著しく上回った。