[論文レビュー] Retrain or not retrain: Conformal test martingales for change-point detection

Vladimir Vovk, Ivan Petej+4 more|arXiv (Cornell University)|Feb 20, 2021

Data Stream Mining Techniques参考文献 14被引用数 13

ひとこと要約

本稿では、機械学習データにおけるオンラインの変化点検出のための、適合性に基づくテストマルティングールフレームワークを提案する。交換可能性に基づくマルティングールを用いて分布シフトを検出し、再訓練をトリガーする。アラート生成のためのVille、CUSUM、およびShiryaev–Roberts手順を導入し、交換可能性のもとで有効性が保証され、Wine Qualityデータセットにおいて実効性が実証された。理想的な条件下で、誤アラート率は1%未満を達成した。

ABSTRACT

We argue for supplementing the process of training a prediction algorithm by setting up a scheme for detecting the moment when the distribution of the data changes and the algorithm needs to be retrained. Our proposed schemes are based on exchangeability martingales, i.e., processes that are martingales under any exchangeable distribution for the data. Our method, based on conformal prediction, is general and can be applied on top of any modern prediction algorithm. Its validity is guaranteed, and in this paper we make first steps in exploring its efficiency.

研究の動機と目的

• オンライン機械学習システムにおけるデータ分布のシフトを自動的に検出するという重要なニーズに対処すること。
• IID仮定を一般化する、データストリームの交換可能性をテストする有効な非パラメトリック手法を開発すること。
• 適合性テストマルティングールに基づく実用的な再訓練トリガーを設計し、有効性と検出効率のバランスをとること。
• Ville、CUSUM、およびShiryaev–Roberts手順の性能を、概念的シフトおよび共変量シフトの検出において評価・比較すること。
• 任意の予測アルゴリズムにモデル固有の適合を必要とせず、上に適用可能なフレームワークを提供すること。

提案手法

• データシーケンスから導出されるインダクティブ適合スコアと適合p値を用いて、交換可能性マルティングールを構築する。
• Ville手順を用い、マルティングールが事前に定めたしきい値を超えた場合にアラートを発行する。これにより、交換可能性のもとで有効性が保証される。
• 現在のマルティングール値と過去の値の比をモニタリングする、適合性CUSUMおよびShiryaev–Roberts手順を導入し、早期のシフトを検出する。
• 変動スケジュールと固定スケジュールの2つの再訓練スキームを実装し、複数のマルティングールとアラートタイプを組み合わせて耐障害性を高める。
• 理想的（交換可能性）な設定下でのシミュレーションを用いてアラートしきい値をキャリブレーションし、信頼区間はClopper–Pearson法で計算する。
• 3分割交差検証を用い、2つのfoldで適合マルティングールを訓練し、残りの1つのfoldを交換可能性の違反をモニタリングするために使用する。

実験結果

リサーチクエスチョン

• RQ1 適合性テストマルティングールは、IID仮定が満たされないオンライン環境において、データ分布のシフトを信頼性高く検出できるか？
• RQ2 交換可能性のもとで、Ville、CUSUM、およびShiryaev–Roberts手順は、検出速度と誤アラート率においてどのように比較されるか？
• RQ3 有効性を維持しながら検出効率を最大化するための最適なアラート発動しきい値は何か？
• RQ4 適合予測を用いて、実用的でかつ有効な再訓練戦略を設計するにはどうすればよいか？
• RQ5 提案されたフレームワークは、モデル固有の修正を必要とせず、任意の予測アルゴリズムに一般化可能か？

主な発見

• Ville手順はテストの初期には効果的だが、時間経過とともに感度が低下するため、効率性が低下する。
• 適合性CUSUMおよびShiryaev–Roberts手順は、Ville手順に比べて検出効率が著しく向上する。
• 寿命の目標値 $ C = 10^6 $ の場合、CUSUMのしきい値を $ f = 4 \times 10^5 $ に設定することで、理想的な交換可能性設定下で誤アラート確率が1%未満に保証される。
• 固定訓練スケジュールでは、総誤アラート確率が3%未満となり、各成分（VilleおよびCUSUM）が1.5%未満の寄与を示す。
• 10^5回のシミュレーションを用い、Clopper–Pearson法で計算された誤アラート率の信頼区間は、しきい値キャリブレーションの有効性を確認する。
• フレームワークは交換可能性のもとで有効性を維持でき、適合予測を介して任意の予測アルゴリズムに適用可能であり、統計的信頼性が保証される。