[論文レビュー] To Trust Or Not To Trust A Classifier

Heinrich Jiang, Been Kim+2 more|arXiv (Cornell University)|May 30, 2018

Topological and Geometric Data Analysis参考文献 33被引用数 185

ひとこと要約

本論文はトラストスコアと呼ばれるデータ分布ベースの指標を導入します。これは密度に基づくフィルタリングの後、分類器の予測を修正された最近傍分類器と比較するもので、モデルの信頼度より、信頼できる予測と疑わしい予測を識別する能力が高いことを示します。非漸近的な保証と、さまざまなデータセットと表現にわたる実証的証拠を提供します。

ABSTRACT

Knowing when a classifier's prediction can be trusted is useful in many applications and critical for safely using AI. While the bulk of the effort in machine learning research has been towards improving classifier performance, understanding when a classifier's predictions should and should not be trusted has received far less attention. The standard approach is to use the classifier's discriminant or confidence score; however, we show there exists an alternative that is more effective in many situations. We propose a new score, called the trust score, which measures the agreement between the classifier and a modified nearest-neighbor classifier on the testing example. We show empirically that high (low) trust scores produce surprisingly high precision at identifying correctly (incorrectly) classified examples, consistently outperforming the classifier's confidence score as well as many other baselines. Further, under some mild distributional assumptions, we show that if the trust score for an example is high (low), the classifier will likely agree (disagree) with the Bayes-optimal classifier. Our guarantees consist of non-asymptotic rates of statistical consistency under various nonparametric settings and build on recent developments in topological data analysis.

研究の動機と目的

• 分類予測を信頼できるかを評価することで、機械学習の安全で信頼性のある利用を促進する。
• 高密度領域から構築された修正最近傍参照と分類器を比較するトラストスコアを提案する。
• 流形データや近傍流形データを含むさまざまなノンパラメトリック設定で非漸近的保証を提供する。
• 複数のデータセット、モデル、表現に渡ってトラストスコアの有効性を実証的に示す。

提案手法

• k-NN密度推定を用いて最も低密度のサンプルをフィルタリングすることで、クラスごとにアルファ高密度集合を定義する。
• テスト点と異なるクラスの最寄りアルファ高密度集合までの距離の比を、予測クラスのアルファ高密度集合までの距離とすることでトラストスコアを計算する。
• アルファ高密度集合を推定するアルゴリズム（Algorithm 1）とトラストスコアを計算するアルゴリズム（Algorithm 2）を提供する。
• 距離を任意の表現（生データ、埋め込み、または中間ネットワーク層）で計算できるようにする。
• 2つのハイパーパラメータ: k（近傍数）とalpha（密度分率）を用い、実際にはアルファを交差検証で選択する。
• Algorithm 1の全次元および流形設定での非漸近的一貫性結果を証明し、全次元ノイズの場合へ拡張する。クラスのマージンが良好な場合に信頼スコアの保証（定理4）を証明する。

実験結果

リサーチクエスチョン

• RQ1 密度フィルタリングされた最近傍距離に基づくトラストスコアは、分類器自身の信頼度よりも、予測を信頼すべき時をより良く示すことができるか。
• RQ2 高い/低いトラストスコアがベイズ最適分類器との一致/不一致に対応する条件は何か、またさまざまなデータ幾何学（全次元、流形、ノイズありの流形）での推定速度はどうなるか。
• RQ3 トラストスコアは、異なるデータ表現やモデルファミリー（ニューラルネットワーク、ランダムフォレスト、ロジスティック回帰）および次元数でどのように性能を発揮するか。
• RQ4 密度ベースのトラストスコアを用いた信頼性と安全性に関する理論的保証と実践的影響は何か。

主な発見

• トラストスコアは、特に低次元から中間次元の空間において、モデルの信頼度より正しく分類された例を特定する際に高い精度を示すことが多い。
• 理論的保証は、高いトラストスコアがベイズ最適分類器と一致する傾向を示し、低いスコアは穏やかな分布仮定の下で不一致になる傾向を示す。
• アルファ高密度集合の推定レートは固有次元に依存する。流形上では、レートは流形次元dに比例し、周囲の次元Dに依存しない場合があり、ほぼ流形ノイズがあってもそうなる。
• アルゴリズム1は正規性仮定の下でアルファ高密度集合のHausdorff一貫推定を達成し、レートは流形構造に適応する。
• アルゴリズム2は、マージン条件を満たすと、トラストスコアがベイズ最適分類器との一致を正しく示すという確率保証を提供する。
• 実証的には、トラストスコアはUCIデータセットやCPU/GPUベンチマーク、および中間ニューラルネットワーク層を含む表現を横断して、モデルの信頼度を上回る。