[論文レビュー] Adaptive Conformal Inference Under Distribution Shift

Isaac Gibbs, Emmanuel J. Candès|arXiv (Cornell University)|Jun 1, 2021

Machine Learning and Data Classification参考文献 27被引用数 27

ひとこと要約

本論文は Adaptive Conformal Inference（ACI）を導入します。これは、非定常データの下で予測集合の所定のカバレージを維持するオンラインフレームワークで、単一のシフトパラメータをオンライン更新することで実現します。任意のブラックボックス予測器と統合でき、分布ドリフトを扱うように予測を較正します。

ABSTRACT

We develop methods for forming prediction sets in an online setting where the data generating distribution is allowed to vary over time in an unknown fashion. Our framework builds on ideas from conformal inference to provide a general wrapper that can be combined with any black box method that produces point predictions of the unseen label or estimated quantiles of its distribution. While previous conformal inference methods rely on the assumption that the data points are exchangeable, our adaptive approach provably achieves the desired coverage frequency over long-time intervals irrespective of the true data generating process. We accomplish this by modelling the distribution shift as a learning problem in a single parameter whose optimal value is varying over time and must be continuously re-estimated. We test our method, adaptive conformal inference, on two real world datasets and find that its predictions are robust to visible and significant distribution shifts.

研究の動機と目的

• データ分布が時間とともにドリフトするオンライン設定において、保証されたカバレージを備えた予測集合の手順を動機づけ、開発する。
• 定常性を仮定せず、長期的なカバレージを維持するシンプルでモデル非依存の較正機構を提供する。
• 分布シフトが生じる実世界データセットに対する手法の頑健性を示す。

提案手法

• 任意の予測器出力（点予測や分位数）と組み合わせ可能な適合スコアフレームワークを用いる。
• シフト調整済みの α パラメータのオンライン更新規則を導入する: alpha_{t+1} = alpha_t + gamma (α - err_t)。
• adaptive prediction set with alpha_t に基づいて Y_t が内部に入らないかを判定して miscoverage err_t を定義する。
• アルファ_t の再推定を適応的に行うことにより、近似的または厳密な周辺カバレージ M_t(alpha_t) ≈ alpha を達成するように α_t の較正を許す。
• 2つの単純な更新変種（式 (2) および (3)）を議論し、ステップサイズ gamma のトレードオフを論じる。
• 分布シフト下での長期カバレージと隠れマルコフモデル設定における濃度界などの理論的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 データ分布が時間とともにシフトする場合、適合予測集合を有効なカバレージで維持できるか。
• RQ2 単一パラメータのオンライン適応を用いて、データ生成過程に依存せずに分布ドリフトを検知・補正する方法は。
• RQ3 非定常性下の適応適合推論に対する理論的保証（長期カバレージ、濃度）は何か。
• RQ4 明らかな分布シフトを伴う実世界データセット（例: 金融のボラティリティ、選挙ナイト予測）でのACIの性能は。

主な発見

• ACI はデータ生成過程に関わらず、目標とする長期カバレージ頻度を達成する。
• 安定したシフトがある場合、ほとんどの時点で近似的な周辺カバレージを達成できる。
• ステップサイズ gamma は適応性と安定性のトレードオフを行う。中程度の値（例: gamma = 0.005）は実験で安定かつ反応的な挙動を示した。
• ACI は顕著な分布シフトにも頑健で、非適応型適合法が失敗する場面（例: ボラティリティ予測の金融危機時）で良好に機能する。
• この手法は適合分位回帰や他の適合スコアと組み合わせて、カバレージを維持しつつ、モデルが正確な場合には予測集合をより短くできる。