[論文レビュー] Achieving Risk Control in Online Learning Settings

Shai Feldman, Ringel, Liran+2 more|arXiv (Cornell University)|May 18, 2022

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本稿では、任意のデータ分布シフト（悪意あるものも含む）下でも、被覆率、偽陰性率、F1スコアなどのリスクを厳密に制御できる予測集合を構築できる、オンライン学習モデルに適用可能な新しいフレームワーク「ローリングリスク制御（Rolling RC）」を提案する。適応的順序付き推定（adaptive conformal inference）を任意の損失関数に拡張することで、最小限の計算コストと、ベースとなるオンライン学習器に追加で実装する必要のないゼロの追加コストで、ユーザー指定のリスクレベルでのリスク制御を保証する。

ABSTRACT

To provide rigorous uncertainty quantification for online learning models, we develop a framework for constructing uncertainty sets that provably control risk -- such as coverage of confidence intervals, false negative rate, or F1 score -- in the online setting. This extends conformal prediction to apply to a larger class of online learning problems. Our method guarantees risk control at any user-specified level even when the underlying data distribution shifts drastically, even adversarially, over time in an unknown fashion. The technique we propose is highly flexible as it can be applied with any base online learning algorithm (e.g., a deep neural network trained online), requiring minimal implementation effort and essentially zero additional computational cost. We further extend our approach to control multiple risks simultaneously, so the prediction sets we generate are valid for all given risks. To demonstrate the utility of our method, we conduct experiments on real-world tabular time-series data sets showing that the proposed method rigorously controls various natural risks. Furthermore, we show how to construct valid intervals for an online image-depth estimation problem that previous sequential calibration schemes cannot handle.

研究の動機と目的

• 分布シフト下におけるオンライン学習における厳密な不確実性の定量化の欠如に対処すること。
• 被覆率を超えて、偽陰性率やF1スコアといった任意のリスク指標を制御できるように、順序付き推定を拡張すること。
• データ分布に関する仮定なしに、ユーザー指定のレベルでリスク制御を保証する手法を開発すること。
• オンライン予測設定において複数のリスクを同時に制御できること。
• 任意のオンライン学習アルゴリズム（深層ニューラルネットワークを含む）と互換性があり、計算コストを最小限に抑えた即挿しソリューションを提供すること。

提案手法

• 予測集合の逐次最適化問題としてリスク制御を定式化し、モデルの信頼度に応じて予測集合のサイズを調整するキャリブレーション済みのストレッチ関数を用いる。
• 適応的順序付き推定（ACI）を基盤としつつ、リスクに配慮した適合スコアを導入することで、任意の損失関数に一般化する。
• 時間的に変化するキャリブレーション係数 $\varphi(\theta_t)$ をコアメカニズムとして用い、予測集合の境界を所定のリスクレベル $r$ を満たすように調整する。
• 回帰では、$\tau_t = \varphi(\theta_t)$ を用いて分位数のレベルを調整し、区間幅の動的制御を可能にする。
• 分類では、クラス確率を順序付け、累積スコアが $1 - \varphi(\theta_t)$ を超えるまでラベルを含める形で予測集合を構築する。
• 理論的証明（定理1）により、悪意ある分布シフト下でも所定のリスクレベルへの収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 任意の分布シフト下（悪意あるものも含む）で、被覆率や偽陰性率といった任意のリスク指標を厳密に制御できる予測集合を構築できるか？
• RQ2 オンライン設定下で、任意の（悪意ある可能性のある）データ分布シフトに対してもリスク制御を維持できるか？
• RQ3 本手法は、計算コストと実装コストを最小限に抑えつつ、任意のオンライン学習アルゴリズムに適用可能か？
• RQ4 オンライン予測において、被覆率やF1スコアといった複数のリスク指標を同時に制御する方法は何か？
• RQ5 従来の逐次キャリブレーション手法が失敗する、画像レベルの深度マップといった複雑な構造的出力に対しても、本フレームワークは対応可能か？

主な発見

• ローリングRCフレームワークは、任意のデータ分布シフト（悪意あるものも含む）下でも、ユーザー指定のレベル $r$ でのリスク制御を保証する。これは定理1で形式化されている。
• 本手法は、データ分布に関する仮定なしに有効なリスク制御を達成し、ベースとなるオンライン学習モデルへの変更を最小限に抑えられる。
• 実世界のテーブル形式時系列データを用いた実験では、異なるデータ分布下でも被覆率、誤被覆率、偽陰性率が厳密に制御されていることが示された。
• 本フレームワークは、従来の逐次キャリブレーション手法が失敗するオンライン画像深度推定タスクに対しても、有効な予測区間を構築できた。
• 平日ごとの$\Delta$-被覆率（条件付き被覆率の代理指標）が低く保たれていることから、時間的サブグループシフトに対しても頑健であることが示された。
• 誤被覆損失の有界版（$\texttt{MC}' = \min\{\texttt{MC}, B\}$）を用いることで収束が保証されるが、実際の応用では非有界版でも良好に動作した。