[論文レビュー] A Holistic Assessment of the Reliability of Machine Learning Systems

Anthony Corso, David Karamadian+3 more|arXiv (Cornell University)|Jul 20, 2023

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本論文は、分布内精度、分布シフト耐性、敵対的耐性、キャリブレーション、分布外検出の5つの主要な特性を評価することにより、機械学習システムの信頼性を包括的に評価するフレームワークを提案する。これらの指標から導出される複合的信頼性スコアを用いて、500を超えるモデルを評価した結果、特定のアルゴリズム的手法が複数の次元で同時に信頼性を向上させることを明らかにした。

ABSTRACT

As machine learning (ML) systems increasingly permeate high-stakes settings such as healthcare, transportation, military, and national security, concerns regarding their reliability have emerged. Despite notable progress, the performance of these systems can significantly diminish due to adversarial attacks or environmental changes, leading to overconfident predictions, failures to detect input faults, and an inability to generalize in unexpected scenarios. This paper proposes a holistic assessment methodology for the reliability of ML systems. Our framework evaluates five key properties: in-distribution accuracy, distribution-shift robustness, adversarial robustness, calibration, and out-of-distribution detection. A reliability score is also introduced and used to assess the overall system reliability. To provide insights into the performance of different algorithmic approaches, we identify and categorize state-of-the-art techniques, then evaluate a selection on real-world tasks using our proposed reliability metrics and reliability score. Our analysis of over 500 models reveals that designing for one metric does not necessarily constrain others but certain algorithmic techniques can improve reliability across multiple metrics simultaneously. This study contributes to a more comprehensive understanding of ML reliability and provides a roadmap for future research and development.

研究の動機と目的

• 医療、防衛、輸送などハイリスク分野におけるMLシステムの信頼性に関する懸念が高まる中で、これを解決すること。
• しばしば個別に評価されがちなが、安全な展開のためには同時に考慮すべきである、信頼性の重要な特性を同定すること。
• 複数の信頼性指標を統合した単一の包括的評価に役立つ、統一的かつ定量的な信頼性スコアを開発すること。
• 本フレームワークを用いて、実世界のタスクにおける最先端のML技術を評価し、トレードオフや相乗効果を理解すること。
• 今後の研究開発のためのロードマップを提供し、複数の次元で信頼性を向上させるアルゴリズム的手法を同定すること。

提案手法

• 5つのコアな信頼性特性を定義：分布内精度、分布シフト耐性、敵対的耐性、キャリブレーション、分布外（OOD）検出。
• 各特性に定量的指標を割り当てる：例として、IDおよびDSの精度、FGSM/PGD攻撃下の耐性、キャリブレーションにはECE、OOD検出にはAUC-PRを用いる。
• 標準的な評価プロトコルに従い、各5つの指標について正規化されたスコア（0〜1）を算出する。
• 5つの正規化された特性スコアの平均値として、包括的信頼性（HR）スコアを導出する。
• ML設計段階ごとにSOTA手法を調査・分類：データ、表現、目的、アーキテクチャ、選択、キャリブレーション、モニタリング。
• 提案された指標とHRスコアを用いて、3つの実世界タスクで代表的なモデルを訓練・評価し、手法間の性能を比較する。

Figure 2 : Performance of WILDS pre-trained models under various distribution shifts vs. in-distribution performance. The validation distribution shift and the test distribution shift come from the WILDS benchmark while C1 measures the performance drop from synthetic corruptions [ 209 ] of strength

実験結果

リサーチクエスチョン

• RQ1 包括的評価において、異なるML手法は複数の信頼性特性においてどのように性能を発揮するか？
• RQ2 ある信頼性指標（例：敵対的耐性）の向上が、他の指標（例：キャリブレーションやOOD検出）の向上とどの程度相関するか？
• RQ3 特定のアルゴリズム的手法は、トレードオフではなく、複数の信頼性次元で一貫した改善をもたらすか？
• RQ4 単一の複合的信頼性スコアは、多様な展開シナリオにおいてモデルの全体的な信頼性を効果的にランク付けできるか？
• RQ5 個別に信頼性指標を最適化する際の性能のトレードオフと相乗効果は何か？

主な発見

• ある信頼性指標に最適化しても、他の指標の性能が必ずしも制限されるわけではない。これは、トレードオフがすべての手法に共通するわけではないことを示唆している。
• データオーグメンテーション、自己教師付き事前学習、アンサンブル手法といった特定のアルゴリズム的手法は、複数の次元で同時に信頼性を向上させる。
• 敵対的耐性が向上したモデルは、しばしばOOD検出やキャリブレーションの性能も向上しており、共通の裏付けメカニズムがある可能性を示唆している。
• 包括的信頼性（HR）スコアは、システム全体の信頼性を効果的に捉えており、多様なモデルやアーキテクチャ間での意味のある比較を可能にしている。
• 後処理によるキャリブレーションやドメイン適応技術は、それぞれキャリブレーションと分布シフト耐性を顕著に向上させるが、他の指標の性能を低下させない。
• 本研究では、特定のモデルアーキテクチャや学習手法が、5つの信頼性特性すべてにおいて普遍的に優れているとは限らないことが判明した。これは、多角的評価の必要性を強調している。

Figure 3 : Comparing distribution-shift accuracy between various distribution shifts.