[論文レビュー] Context-Aware Drift Detection

Oliver Cobb, Arnaud Van Looveren|arXiv (Cornell University)|Mar 16, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、最大条件付き平均差分（MMD-ADiTT）を用いて、時間帯やモデル予測などの指定された文脈要因によって説明可能な変化を除き、分布シフトを検出する文脈に配慮したドリフト検出フレームワークを提案する。このフレームワークは、頑健でキャリブレーションのとれた検出を実現する。実世界の視覚タスク、特にImageNetスケールの問題におけるサブポピュレーションドリフトおよびコバリエートシフトの検出において、ベースライン手法を上回る優れた性能を示す。

ABSTRACT

When monitoring machine learning systems, two-sample tests of homogeneity form the foundation upon which existing approaches to drift detection build. They are used to test for evidence that the distribution underlying recent deployment data differs from that underlying the historical reference data. Often, however, various factors such as time-induced correlation mean that batches of recent deployment data are not expected to form an i.i.d. sample from the historical data distribution. Instead we may wish to test for differences in the distributions conditional on extit{context} that is permitted to change. To facilitate this we borrow machinery from the causal inference domain to develop a more general drift detection framework built upon a foundation of two-sample tests for conditional distributional treatment effects. We recommend a particular instantiation of the framework based on maximum conditional mean discrepancies. We then provide an empirical study demonstrating its effectiveness for various drift detection problems of practical interest, such as detecting drift in the distributions underlying subpopulations of data in a manner that is insensitive to their respective prevalences. The study additionally demonstrates applicability to ImageNet-scale vision problems.

研究の動機と目的

• 既存のドリフト検出器がi.i.d.なデプロイメントデータを仮定しており、時間帯やモデル予測などの文脈が自然に変化する状況では失敗することの制限に対処すること。
• 実務家が許容される変化が生じる文脈変数を指定できる一般化されたフレームワークを開発し、未説明の分布シフトにのみ検出を集中させること。
• 最大条件付き平均差分（MMD-ADiTT）に基づくフレームワークのインスタンス化を提案・検証し、キャリブレーションと検出力の向上を図ること。
• 実用的問題、特にコンピュータビジョンにおけるサブポピュレーションドリフトおよびコバリエートシフトに対して、本手法の有効性を示すこと。ImageNetスケールのデータを用いて検証。

提案手法

• 同質性のための2標本検定を条件付き分布的処置効果に拡張し、ドリフトを文脈の関数としてモデル化する。
• 文脈の下での条件付き分布の差を測定するため、テスト統計量として最大条件付き平均差分（MMD-ADiTT）を用いる。
• 画像データに対して、事前学習済みのSimCLRバックボーンからの特徴量にガウスRBFカーネルを適用したカーネルベースのMMDを採用する。
• 密度推定を再帰的サンプリングを用いて文脈に統合し、サブポピュレーションの頻度変化に応じたキャリブレーションの維持に注力する。
• 時間帯、サブポピュレーションの所属、モデル予測など、複数の文脈タイプをサポートする。
• 実装は、実用的デプロイメントを目的としたオープンソースのalibi-detectライブラリの一部として公開されている。

実験結果

リサーチクエスチョン

• RQ1 時間帯やモデル予測分布の自然な変化といった許容される文脈変化に対して、偽陽性の増加を伴わずにドリフト検出を頑健にできるか？
• RQ2 サブポピュレーションドリフトを検出する際、提案手法MMD-ADiTTは標準MMDおよびMMD-Subと比べて、キャリブレーションと検出力の面でどのように異なるか？
• RQ3 文脈に起因するデータ分布の変化に感度を示さず、意味のある分布シフトを検出できる範囲はどの程度か？
• RQ4 実世界のコンピュータビジョンシステムにおいて、モデル予測を条件としたコバリエートドリフトを検出する際、このフレームワークはどの程度有効か？
• RQ5 サンプルサイズやサブポピュレーション頻度の変化が生じる状況でも、キャリブレーションと検出力が維持されるか？

主な発見

• MMD-ADiTTは、サブポピュレーション頻度の変化が生じる状況でも良好なキャリブレーションを維持するが、MMD-Subは不完全な密度推定によるバイアスにより、徐々にキャリブレーションが崩れる。
• すべてのサンプルサイズにおいて、MMD-ADiTTはMMD-Subに比べてサブポピュレーションの平均および分散の変化を著しく高い統計的検出力で検出できる。
• モデル予測のドリフトに対しては、MMD-ADiTTは6次元空間での密度推定でさえも良好なキャリブレーションを維持するが、MMD-Subはキャリブレーションを維持できない。
• ImageNetの6つのスーパークラスのうち1つまたは2つのみがドリフトしている状況では、MMD-ADiTTは文脈に特化したシフトに焦点を当てることで、標準MMDよりも検出力が優れている。
• ドリフトを示すサブポピュレーションが3つ以上に増加すると、標準MMDとMMD-ADiTTは同等の検出力を示し、必要に応じてグローバルシフトに感度を示すことを確認した。
• 本フレームワークは、ImageNetスケールの視覚タスクにおいてドリフトを効果的に検出でき、実世界のデプロイメント監視におけるスケーラビリティと実用的関連性を示した。