[論文レビュー] Justification-Based Reliability in Machine Learning

Nurali Virani, Naresh Iyer+1 more|arXiv (Cornell University)|Nov 18, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用数 4

ひとこと要約

本稿では、エピステモロジーにおけるプラトの正当化された真の信念（JTB）理論を拡張し、個々の予測における認識的不確実性を定量化する、妥当性に基づく信頼性フレームワークを提案する。近傍作用素（例：k-NN、ℓp-ノルム、ε-NN）を用いて予測の訓練データ支援を収集し、分類を「知っている」（IK）、「おそらく知っている」（IMK）、または「知らない」（IDK）領域に分ける。実験により、敵対的摂動に対して優れた耐性を示し、ベースラインのしきい値手法よりも信頼性が向上していることが示された。

ABSTRACT

With the advent of Deep Learning, the field of machine learning (ML) has surpassed human-level performance on diverse classification tasks. At the same time, there is a stark need to characterize and quantify reliability of a model's prediction on individual samples. This is especially true in application of such models in safety-critical domains of industrial control and healthcare. To address this need, we link the question of reliability of a model's individual prediction to the epistemic uncertainty of the model's prediction. More specifically, we extend the theory of Justified True Belief (JTB) in epistemology, created to study the validity and limits of human-acquired knowledge, towards characterizing the validity and limits of knowledge in supervised classifiers. We present an analysis of neural network classifiers linking the reliability of its prediction on an input to characteristics of the support gathered from the input and latent spaces of the network. We hypothesize that the JTB analysis exposes the epistemic uncertainty (or ignorance) of a model with respect to its inference, thereby allowing for the inference to be only as strong as the justification permits. We explore various forms of support (for e.g., k-nearest neighbors (k-NN) and l_p-norm based) generated for an input, using the training data to construct a justification for the prediction with that input. Through experiments conducted on simulated and real datasets, we demonstrate that our approach can provide reliability for individual predictions and characterize regions where such reliability cannot be ascertained.

研究の動機と目的

• エピステモロジーにおける正当化された信念の概念を機械学習モデルに形式化し、個々の予測の信頼性を向上させること。
• モデルの予測における認識的不確実性（欠落情報による知識の欠如）とアレアトリック不確実性（データの固有のばらつき）を区別すること。
• 入力空間および潜在空間において訓練データからの証拠を収集できる、ドメインに依存しない近傍作用素を開発すること。
• 支援の質とデータ密度に基づいて、入力空間を「知っている」（IK）、「おそらく知っている」（IMK）、または「知らない」（IDK）の領域に分類すること。
• 敵対的摂動およびノイズ下での耐性を評価し、信頼性評価のための新規指標（F_IKおよびA_IK）を用いること。

提案手法

• エピステモロジーにおける正当化された真の信念（JTB）フレームワークを拡張し、モデルの予測を正当化が必要な知識として定義する。
• k-NN、ℓp-ノルム、およびε-NN作用素を用いて、入力空間および隠れ層空間における訓練データポイントからの支援を収集する。
• 予測を3つの信頼性領域に分類する：IK（信頼できる）、IMK（重複する支援による曖昧さ）、IDK（異常で近接する支援なし）。
• 複数の層（例：ロジット層および中間層）にわたり近傍作用素を適用することで、耐性と正当化の質を向上させる。
• 予測の耐性評価のための新規指標（F_IK：正しく予測されたIK予測の割合、A_IK：IK予測の正解率）を用いる。
• ソフトマックスの信頼度しきい値に依存しないように、プラットスケーリングおよび近傍ベースの信頼スコアを用いて予測を補正する。

実験結果

リサーチクエスチョン

• RQ1 JTBフレームワークを機械学習モデルに適用し、個々の予測における認識的不確実性を定量化できるか？
• RQ2 異なる近傍作用素（k-NN、ℓp-ノルム、ε-NN）が、モデルの予測の信頼性および耐性に与える影響は何か？
• RQ3 本手法は、入力空間における外挿領域（IDK）、混乱領域（IMK）、信頼領域（IK）を区別できるか？
• RQ4 本手法は、ソフトマックススコアのしきい値ベースの手法と比較して、敵対的および通常の摂動に対してより耐性があるか？
• RQ5 複数のネットワーク層からの支援収集が、信頼性の向上および予測の過信の低減にどの程度寄与するか？

主な発見

• ε-NNおよびH-2近傍作用素は、大きな敵対的摂動下でも高いF_IKおよびA_IKを達成し、k-NNおよびベースライン手法を上回った。
• ベースラインモデルは、摂動下で高いF_IKを示したが、IK予測のA_IKは低く、過信していることが示された。一方、本手法は正しくIDK領域を同定した。
• 少なくとも2つの層（例：ロジット層および中間層）からの支援収集が、ロジット層のみを使用した場合よりも耐性を向上させた。
• 本手法は、空の近傍を持つIDK領域（異常または新規入力）を正しく同定でき、不純な支援を持つIMK領域（追加情報の必要性を示唆）も特定できた。
• 本手法は、シミュレーテッドデータ、時系列データ、画像データにおいて優れた信頼性を示し、敵対的耐性および異常検出性能が向上した。
• H-2およびε-NN作用素はk-NNに比べカバレッジが低かったが、大きな摂動下での信頼性が著しく高く、カバレッジと耐性のトレードオフを示した。