[論文レビュー] Confidence Scoring Using Whitebox Meta-models with Linear Classifier Probes

Tongfei Chen, Jiří Navrátil+2 more|arXiv (Cornell University)|May 14, 2018

Machine Learning and Data Classification参考文献 22被引用数 14

ひとこと要約

本論文は、深層ニューラルネットワークベースモデルの中間層に線形分類器プローブを用いる白ボックスメタモデルフレームワークを提案し、低信頼度予測をフィルタリングするための優れた信頼度スコアを生成する。この手法は、内部モデル表現を活用することで、ノイズありおよびドメイン外の設定においてベースラインを上回り、不確実性推定において高い正確性と耐性を達成する。

ABSTRACT

We propose a novel confidence scoring mechanism for deep neural networks based on a two-model paradigm involving a base model and a meta-model. The confidence score is learned by the meta-model observing the base model succeeding/failing at its task. As features to the meta-model, we investigate linear classifier probes inserted between the various layers of the base model. Our experiments demonstrate that this approach outperforms various baselines in a filtering task, i.e., task of rejecting samples with low confidence. Experimental results are presented using CIFAR-10 and CIFAR-100 dataset with and without added noise. We discuss the importance of confidence scoring to bridge the gap between experimental and real-world applications.

研究の動機と目的

• 安全上の重要な応用分野において、深層学習モデルが低信頼度予測を検出・拒否する能力に生じる顕著なギャップを是正すること。
• ベースモデルの内部状態を線形分類器プローブで観察することで、深層ニューラルネットワークの信頼度推定を改善すること。
• 透明で解釈可能なメタモデルアーキテクチャを用いることで、ノイズのある学習データおよびドメイン外一般化においてモデルの耐性を高めること。
• ベースモデルの中間層特徴量が、最終層のソフトマックススコアのみに依存するよりも、不確実性の信号としてより信頼性が高いことを実証すること。

提案手法

• 2モデルのパラダイムを採用：ベースモデルが主な分類タスクを実行し、メタモデルがその内部表現を観察して成功または失敗を予測する。
• ベースモデルの複数の中間層に線形分類器プローブを挿入し、メタモデルのための特徴表現を抽出する。
• プローブ特徴量を入力として、メタモデルを、ベースモデルの予測が正しくまたは誤りであるかを予測するように訓練する。
• 信頼度スコアは、メタモデルの出力をもとに導出され、確率である必要はなく、不確実性のスカラー値として機能する。
• 本手法は、CIFAR-10およびCIFAR-100で、ラベルノイズありおよびなしの状況、およびドメインシフト条件下でResNetアーキテクチャを用いて評価される。
• モデル性能はROC分析を用いて評価され、フィルタリング性能は、さまざまな信頼度しきい値における正確性と再現率のトレードオフで測定される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの中間層特徴量は、最終層の出力に比べて、信頼度スコアの推定に優れた信号を提供できるか？
• RQ2 ノイズのある学習データ下で、線形プローブを用いた本手法の白ボックスメタモデルは、ブラックボックスベースラインに比べて低信頼度予測のフィルタリングにおいて優れているか？
• RQ3 ベースモデルがドメイン外のテストサンプルに直面した場合、メタモデルは依然として頑健な性能を維持できるか？
• RQ4 ラベルノイズが増加する条件下で、メタモデルはどのように異なる層に注目を向けるよう適応するか？

主な発見

• ノイズのある学習条件下では、白ボックスメタモデルに線形プローブを用いた手法が、ベースラインを著しく上回る。
• ノイズあり／ノイズありの状況では、メタモデルが最終層（レイヤー17）から、エラー率が上昇するに従い、より頑健な特徴量を持つ層12〜16に注目を移す。
• ドメイン内再現率0.7でフィルタリングした場合、白ボックスメタモデルは95％の正確性を達成するが、ベースモデルのスコアはドメイン外条件下で54％まで低下する。
• メタモデルは、誤分類の混同行列における偽陽性および偽陰性の例を削減し、ベースラインと比較してより妥当性のある誤分類を示す。
• ノイズおよびドメインシフトに適応できる能力により、メタモデルは最終ソフトマックススコアに依存するのみのベースモデルに比べ、優れた耐性を示す。