[論文レビュー] Distance-based Confidence Score for Neural Network Classifiers

Amit Mandelbaum, Daphna Weinshall|arXiv (Cornell University)|Sep 28, 2017

Adversarial Robustness in Machine Learning参考文献 3被引用数 79

ひとこと要約

本論文は、ニューラルネットの埋め込みから計算される距離ベースの信頼度スコアを導入し、分類、アンサンブル、ノベルティ検出における従来のスコアに対する利点を示す。距離ベースの損失とAdversarial Trainingの2つの埋め込み戦略を適用。

ABSTRACT

The reliable measurement of confidence in classifiers' predictions is very important for many applications and is, therefore, an important part of classifier design. Yet, although deep learning has received tremendous attention in recent years, not much progress has been made in quantifying the prediction confidence of neural network classifiers. Bayesian models offer a mathematically grounded framework to reason about model uncertainty, but usually come with prohibitive computational costs. In this paper we propose a simple, scalable method to achieve a reliable confidence score, based on the data embedding derived from the penultimate layer of the network. We investigate two ways to achieve desirable embeddings, by using either a distance-based loss or Adversarial Training. We then test the benefits of our method when used for classification error prediction, weighting an ensemble of classifiers, and novelty detection. In all tasks we show significant improvement over traditional, commonly used confidence scores.

研究の動機と目的

• ニューラル分類器における信頼できる予測信頼性の動機づけと、既存の代理スコアの限界への対処。
• ネットワークの埋め込みから導出される距離ベースの信頼度スコアを提案。
• 埋め込み中心の学習（距離ベースの損失またはAdversarial Training）が信頼度の品質を向上させる方法を示す。
• 複数のデータセットで、誤り予測、アンサンブル、ノベルティ検出のためにスコアを評価。
• エントロピーベースおよびMC-Dropoutベースの信頼度指標と性能を比較。

提案手法

• 訓練済み分類器から埋め込み f(x) を定義する。
• 訓練データ集合に関して埋め込み空間のk最近傍を用い、正規化された密度ベースのスコアとして D(x) を計算する。
• オプション1: 埋め込み構造を望ましいものにするよう距離ベースの損失 L_dist を用いて訓練を強化する（Eq. 2）。
• オプション2: 検出密度推定に有利な埋め込みを誘導するためにAdversarial Trainingを用いる（Eq. 3）。
• 最近傍近似やメモリ要件を含む計算上の側面とスケーリングについて議論。
• Distanceネットワークを正則またはAdversarialネットワークと組み合わせたアンサンブルの重み付けとハイブリッドアーキテクチャを検討。

実験結果

リサーチクエスチョン

• RQ1 提案された距離ベースの信頼度スコアは、データセット全体で伝統的なスコア（マージン、エントロピー）および最近の手法（MC-Dropout、単独のAdversarial Training）と比較して予測の信頼性を向上させるか？
• RQ2 このスコアはアンサンブル性能を高め、ノベルティ検出で有効か？
• RQ3 距離ベースの訓練とAdversarial Trainingが埋め込み品質と下流の信頼度性能にどう影響するか？

主な発見

• 距離ベースの信頼度スコアは、CIFAR-100、STL-10、SVHN における正解分類のAUCを、Margin、Entropy、MC-Dropout のベースラインと比較して改善する。
• 距離スコアで重み付けされたアンサンブルは、スコアなしのアンサンブルを下回らず、Adversarial Training が用いられていても上回る。
• 距離スコアを用いたAdversarial Trainingは強い結果をもたらし、距離ベースの損失だけの場合よりハイパーパラメータ調整を少なく済ませる。
• Distanceネットワークを用いて別の分類器に情報を提供するハイブリッドアプローチが、CIFAR-100とSVHNで最高の性能を達成。
• 本手法は標準的な信頼度指標に比べノベルティ検出性能を改善し、Adversarial Training が最良のノベルティ性能を提供し、距離スコアが追加的な向上を提供。