[論文レビュー] Tracking the risk of a deployed model and detecting harmful distribution shifts

Aleksandr Podkopaev, Aaditya Ramdas|arXiv (Cornell University)|Oct 12, 2021

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

この論文は、時間に一様な信頼区間系列を用いて、誤り率の増加（例：正答率、キャリブレーション）を継続的に監視可能にし、誤報率を上昇させずに、展開済み機械学習モデルにおける有害な分布シフトを段階的検定によって検出するフレームワークを提案する。この手法は、有害なシフトと良性のシフトを区別し、最小限のサンプル数でリスクの増加を検出可能であり、模擬的および実世界のデータセット（例：損傷付きMNIST、CIFAR-10）で検証された。

ABSTRACT

When deployed in the real world, machine learning models inevitably encounter changes in the data distribution, and certain -- but not all -- distribution shifts could result in significant performance degradation. In practice, it may make sense to ignore benign shifts, under which the performance of a deployed model does not degrade substantially, making interventions by a human expert (or model retraining) unnecessary. While several works have developed tests for distribution shifts, these typically either use non-sequential methods, or detect arbitrary shifts (benign or harmful), or both. We argue that a sensible method for firing off a warning has to both (a) detect harmful shifts while ignoring benign ones, and (b) allow continuous monitoring of model performance without increasing the false alarm rate. In this work, we design simple sequential tools for testing if the difference between source (training) and target (test) distributions leads to a significant increase in a risk function of interest, like accuracy or calibration. Recent advances in constructing time-uniform confidence sequences allow efficient aggregation of statistical evidence accumulated during the tracking process. The designed framework is applicable in settings where (some) true labels are revealed after the prediction is performed, or when batches of labels become available in a delayed fashion. We demonstrate the efficacy of the proposed framework through an extensive empirical study on a collection of simulated and real datasets.

研究の動機と目的

• 有害でないシフトまで検出してしまう既存手法の欠陥（全シフトを検出するが、害がない場合も含む）を是正すること。
• 誤報率を上昇させることなく、継続的かつリアルタイムでのモデル監視を可能にすること。
• モデルリスク（例：誤分類率、Brierスコア）の顕著な増加を検出することで、良性と有害な分布シフトを区別すること。
• ラベルが遅延して到着するか、バッチ形式で到着する状況にも適用可能な実用的で段階的な検定フレームワークを提供すること。
• 合成的および実世界のデータ（例：損傷付き画像ベンチマークMNIST-C、CIFAR-10-C）を用いて、手法の有効性を検証すること。

提案手法

• 有害な分布シフトの検出を、訓練（ソース）分布とテスト（ターゲット）分布間のリスク関数の増加に関する段階的仮説検定として定式化する。
• 時間に一様な信頼区間系列を用いて、多重性の問題を回避しつつ、時間経過に伴う統計的証拠を継続的に集積する。
• ベッティングベースの上界と共役混合経験的ベルンシュタイン境界を用いて、ソースおよびターゲットドメインにおけるリスクの段階的推定を実現する。
• リスク差の段階的推定を適用し、有意な増加（例：5% または 10%）が高信頼性で検出された場合にのみアラームを発動する。
• ラベルが遅延またはバッチ形式で到着する状況を想定しており、実世界の展開に適している。
• 誤差制御を段階的サンプリング下でも維持できるように、逐次尤度比検定（SPRT）と順序的予測の原則を統合してフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 段階的検定フレームワークは、誤報率を上昇させることなく、有害なシフトを検出し、良性のシフトを無視できるか？
• RQ2 ラベルが遅延またはバッチ形式で到着する状況下でも、モデルリスクの顕著な増加（例：誤分類またはキャリブレーション誤差）を検出する効果は何か？
• RQ3 標準的手法が失敗する状況でも、最小限のサンプル数で有害なシフトを検出できるか？
• RQ4 MNIST-C や CIFAR-10-C のような実世界の損傷付きデータセットでは、複雑で非i.i.d.なシフトに対し、このフレームワークはどの程度の性能を示すか？
• RQ5 特に、非段階的検定や順序的テストマルティングールに基づく手法と比較して、段階的監視下でも統計的妥当性を維持できるか？

主な発見

• このフレームワークは、極めて少ないサンプル数で有害な分布シフトを検出可能であり、たとえば誤分類リスクが10%増加した場合でも、少数のターゲットサンプル処理後すぐに検出可能である。
• MNIST-C および CIFAR-10-C ベンチマークにおいて、この手法は深刻な損傷（例：霧）に対してのみアラームを発動し、それ以外の軽微な損傷は無視するため、良性と有害なシフトを区別できる能力を示している。
• 時間に一様な信頼区間系列の使用により、継続的監視下でも誤報率が制御されている。これは、非段階的検定と異なり、誤差率が上昇するのを防いでいる。
• 高い統計的パワーを維持しており、特に予測集合構築における低い誤差閾値（例：β = 0.05）を用いる場合、標準的手法よりもリスク増加を早期に検出可能である。
• 共変量シフトのシミュレーションでは、ソース分布で学習したロジスティック回帰モデルがターゲット分布で失敗する（特徴分布の不一致による）ことを、数サンプルで正しく特定し、アラームを発動した。
• 損傷がひどいほど予測集合の平均サイズが増加するが、深刻な損傷に対しては依然として帰無仮説（リスク増加なし）を棄却しており、有害なシフトに対する感受性が確認された。