[論文レビュー] Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift

Stephan Rabanser, Stephan Günnemann+1 more|arXiv (Cornell University)|Oct 29, 2018

Anomaly Detection Techniques and Applications参考文献 58被引用数 140

ひとこと要約

この論文は、次元削減と二標本検定を用いたデータセットシフト検出手法を実証的に比較し、ソフト予測を用いるブラックボックスシフト検出器がしばしば最良の性能を示し、単変量検定が実践的には多変量検定に匹敵することを示している。さらに、ドメイン識別分類器を用いてシフトの悪性度を分析する。

ABSTRACT

We might hope that when faced with unexpected inputs, well-designed software systems would fire off warnings. Machine learning (ML) systems, however, which depend strongly on properties of their inputs (e.g. the i.i.d. assumption), tend to fail silently. This paper explores the problem of building ML systems that fail loudly, investigating methods for detecting dataset shift, identifying exemplars that most typify the shift, and quantifying shift malignancy. We focus on several datasets and various perturbations to both covariates and label distributions with varying magnitudes and fractions of data affected. Interestingly, we show that across the dataset shifts that we explore, a two-sample-testing-based approach, using pre-trained classifiers for dimensionality reduction, performs best. Moreover, we demonstrate that domain-discriminating approaches tend to be helpful for characterizing shifts qualitatively and determining if they are harmful.

研究の動機と目的

• データセットシフトを検出する必要性を動機づけ、MLシステムのサイレントな障害を回避する。
• 次元削減と二標本検定を組み合わせたパイプラインのシフト検出を評価する。
• 多様なシフトで最も性能が良い削減技法と検定を特定する。
• ドメイン識別分類器を用いてシフトを定性的に特徴づけ、シフト悪性度を論じる。

提案手法

• No Reduction (NoRed)、PCA、Sparse Random Projection (SRP)、Autoencoders (TAE, UAE)、およびLabel Classifiers (BBSDs, BBSDh) を含む複数のDR技法でテストデータを表現する。
• 統計的二標本検定を適用: 多変量カーネル二標本検定（最大平均差異、MMD）と単変量検定（Bonferroni補正付きKolmogorov-Smirnov、Chi-Squared、Binomial）を使用。
• BBSDsとBBSDhの場合、分類器出力をDR表現として使用；Classifの場合、ソースとターゲットを区別するドメイン分類器を訓練し、その有意性を検定する。
• MMDには置換検定、Bonferroniを用いたKSには多次元補正、ラベル分布にはカイ二乗検定、ドメイン分類器精度には二項検定を適用。
• シフト検出時にはドメイン分類器の信頼度から最も異常なサンプルを抽出する仕組みを提供。
• モデル精度をターゲットとして最も自信を持ってターゲットとラベル付けされたサンプルを比較することでシフト悪性度を評価する実用フレームワークを論じる。

実験結果

リサーチクエスチョン

• RQ1 二標本検定フレームワークは次元削減表現を用いてソースとターゲットデータ間の分布シフトを検出できるか？
• RQ2 さまざまな摂動に対して最も強いシフト検出性能を提供する次元削減技法はどれか？
• RQ3 高次元シフトを検出する際、単変量と多変量の二標本検定はどう比較されるか？
• RQ4 ドメイン識別分類器は検出されたシフトの型と悪性度を特徴づけるのに役立つか？
• RQ5 最も異常なサンプルを特定し、モデル性能へのシフトの影響を推定する実用性はどの程度か？

主な発見

• BBSDs（ソフト予測）は多くのシフトで強力なシフト検出性能を達成し、しばしば他のDR手法を上回る。
• 複数の次元での単変量検定とBonferroni補正は、多変量カーネル検定と同等の効果を発揮することがある。
• UAE（オートエンコーダ）とTAE（オートエンコーダ）は多変量検定の設定で最も良い性能を示し、他のDR手法を上回る。
• ドメイン分類器を用いた手法は定性的な洞察を提供し、最も異常なサンプルの同定を可能にし、シフトの特徴付けに役立つ。
• 悪性度検出器は、ドメイン予測を用いてシフトがモデルの精度を意味的に低下させるかを示すことができ、ターゲットラベル全体を用意するより少ないラベル付きデータで済む場合がある。
• いくつかのシフト（例：大きな画像回転、顕著なノイズ）は少数のサンプルでも容易に検出される一方、他のシフト（例：小さな摂動）は検出が難しい。