[論文レビュー] Conformal prediction beyond exchangeability

Rina Foygel Barber, Emmanuel J. Candès+2 more|arXiv (Cornell University)|Feb 27, 2022

Energy Load and Power Forecasting被引用数 7

ひとこと要約

本稿では、交換可能性の仮定が成り立たない非交換的データや非対称なアルゴリズムに対応できるように、順序統計量の重み付けと新しいランダム化技術を導入することで、コンフォーマル予測を一般化する。これにより、分布のずれや非対称なモデル適合に対しても、保証された頑健な被覆率が得られ、被覆率の損失は、各データ順列間の全 Variation 距離の重み付き和によって上限が与えられる。

ABSTRACT

Conformal prediction is a popular, modern technique for providing valid predictive inference for arbitrary machine learning models. Its validity relies on the assumptions of exchangeability of the data, and symmetry of the given model fitting algorithm as a function of the data. However, exchangeability is often violated when predictive models are deployed in practice. For example, if the data distribution drifts over time, then the data points are no longer exchangeable; moreover, in such settings, we might want to use a nonsymmetric algorithm that treats recent observations as more relevant. This paper generalizes conformal prediction to deal with both aspects: we employ weighted quantiles to introduce robustness against distribution drift, and design a new randomization technique to allow for algorithms that do not treat data points symmetrically. Our new methods are provably robust, with substantially less loss of coverage when exchangeability is violated due to distribution drift or other challenging features of real data, while also achieving the same coverage guarantees as existing conformal prediction methods if the data points are in fact exchangeable. We demonstrate the practical utility of these new tools with simulations and real-data experiments on electricity and election forecasting.

研究の動機と目的

• 分布のずれや非 i.i.d. データの下で交換可能性の仮定が成り立たない場合に、コンフォーマル予測の限界を解消すること。
• 時系列データや変化するデータの文脈で、最近のデータや関連性の高いデータポイントを重視する非対称なアルゴリズムの使用を可能にすること。
• 交換可能性が破れた場合でも、名目水準に近いまま理論的被覆率保証を提供すること。
• データ分布に関する最小限の仮定（i.i.d. や交換可能性の要件なし）で、完全な被覆率の有効性を維持するフレームワークの構築。
• 非交換性に起因する被覆率の損失を定量化・上限付けるための重み付き残差ベースのアプローチの導入。

提案手法

• 補正段階で、遠く離れたまたは関連性の低いデータポイントの影響を軽減するために、コンフォーマル予測フレームワークに重み付き順序統計量を導入する。
• 非対称なアルゴリズムを用いることができるよう、被覆率保証を維持するためのランダム化技術を提案する。
• 被覆率ギャップ（名目被覆率と実際の被覆率の差）を定義し、各訓練点とテスト点を入れ替えた際のデータベクトル間の全 Variation 距離の重み付き和によって上限を付ける。
• 重み付き残差の経験的分布を用いて「奇妙な」点（strange points）を定義し、その重み付き頻度は α で上限が与えられる。
• 非被覆確率を、テスト点が順列を入れ替えたデータ構成下で「奇妙な」点と分類される事象と関連付けることで、確率的上限を確立する。
• データ順列における残差ベクトル間の全 Variation 距離を用いて、非交換性への感受性を定量化し、頑健性を保証する。

実験結果

リサーチクエスチョン

• RQ1 分布のずれによりデータポイントが交換不能となった場合、コンフォーマル予測はどのようにして有効な被覆率を維持できるか？
• RQ2 非対称なアルゴリズム（最近のデータや関連性の高いデータを重視する）を用いるために、コンフォーマル予測フレームワークにどのような変更が必要か？
• RQ3 非交換的データの下で被覆率損失の理論的上限を導出可能か？その上限はどのような要因に依存するか？
• RQ4 交換可能性が破れた状況で、標準的なコンフォーマル予測と比較して、提案手法の被覆率の正確性はどのように異なるか？
• RQ5 データの重み付けとランダム化は、非 i.i.d. または非交換的データ下での被覆率の安定化にどのような役割を果たすか？

主な発見

• 被覆率ギャップ（名目被覆率と実際の被覆率の差）は、テスト点を各訓練点と入れ替えた際の残差ベクトル間の全 Variation 距離の重み付き和によって上限が与えられる。
• データが交換可能な場合、提案手法は標準的なコンフォーマル予測と同等の被覆率保証を達成し、従来の理論と整合性を保つ。
• 分布のずれが生じる状況でも、シミュレーションおよび電力需要・選挙予測の実データ実験を通じて、被覆率が名目水準に近い水準を維持することが示された。
• 重み付き順序統計量とランダム化の併用により、強い分布仮定を必要とせずに、非交換的データに対する頑健性が実現された。
• 被覆率損失の理論的上限は、データ順列間の全 Variation 距離にのみ依存するため、データの連合分布が未知であっても適用可能である。
• ELEC2 データセットにおける実験結果から、標準的なコンフォーマル予測はドリフトに伴い被覆率を失う一方、提案手法は約 90% の被覆率を維持していることが示された。