[論文レビュー] Conformal prediction with localization

Leying Guan|arXiv (Cornell University)|Aug 22, 2019

Anomaly Detection Techniques and Applications参考文献 23被引用数 20

ひとこと要約

本稿では、各テストポイントの局所的近傍に焦点を当てて有限標本の有効な予測区間を構築することで、従来の順応的予測に改善を加えた、局所的順応的予測の新規手法を提案する。訓練サンプルをテスト入力からの距離に応じて重み付けすることにより、誤差構造が非一様な状況でもカバレッジの正確性を向上させつつ、仮定を要しない有限標本のカバレッジ保証を維持する。

ABSTRACT

We propose a new method called localized conformal prediction, where we can perform conformal inference using only a local region around a new test sample to construct its confidence interval. Localized conformal inference is a natural extension to conformal inference. It generalizes the method of conformal prediction to the case where we can break the data exchangeability, so as to give the test sample a special role. To our knowledge, this is the first work that introduces such a localization to the framework of conformal prediction. We prove that our proposal can also have assumption-free and finite sample coverage guarantees, and we compare the behaviors of localized conformal prediction and conformal prediction in simulations.

研究の動機と目的

• テストポイントからの距離にかかわらずすべての訓練サンプルを同等に扱う標準順応的予測の限界を解消すること。
• 局所的な予測不確実性の非一様性をよりよく捉えるために、近い訓練サンプルに大きな影響を与える手法を開発すること。
• テストサンプルが推論において特別な役割を果たすことを許容しながらも、有限標本かつ仮定なしのカバレッジ保証を維持すること。
• 標準順応的手法を一般化する理論的根拠に基づいた局所的順応的予測のフレームワークを提供すること。
• シミュレーションおよび実世界の例を通じて、異分散誤差構造をよりよく捉えることの優位性を実証すること。

提案手法

• テスト点 $ X_{n+1} $ に近い訓練サンプル $ X_i $ に高い重みを割り当てる局所化関数 $ H(X_i) $ を導入する。例として最近傍法や距離に基づくカーネルを用いる。
• 重みが $ H(X_i) $ 比例するように、適合度スコア $ V_i $ の重み付き経験分布を構築することで、順応的予測フレームワークを変更し、テストサンプルには $ \infty $ を含める。
• 予測区間 $ \hat{C}(x) $ を、テストサンプルの適合度スコア $ V(x,y) $ が重み付き経験分布の $ \tilde{\alpha} $-分位数未満であるような $ y $ 値の集合として定義する。
• データに依存するスコア関数であっても、有限標本のカバレッジ確率が $ \geq \alpha $ となるように、$ \tilde{\alpha} $ を戦略的に選択する。
• カバレッジと区間長のバランスを取る基準を最小化するように、データ駆動型チューニング手順により局所化関数のバンド幅 $ h $ を選択する。
• 特徴量を $ V_i $ と $ X_{i,j} $ の間の相互情報量が最大となる方向に射影することで、高次元設定でもこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 誤差分散が入力空間全体で非一様な場合でも、局所的非一様性に適応する予測区間を構築できるか？
• RQ2 順応的推論の有効性を損なわせることなく、近い訓練サンプルに大きな影響を与える方法は何か？
• RQ3 交換可能性の仮定を破ることなく、順応的予測に局所的重みを使用する理論的根拠は何か？
• RQ4 異分散誤差下で、局所的順応的予測は標準順応的予測と比べて区間幅およびカバレッジ正確性の点でどのように異なるか？
• RQ5 この手法は、データに依存するスコア関数および高次元特徴空間に対しても、理論的保証とともに拡張可能か？

主な発見

• 局所的順応的予測は、入力空間全体で誤差分散が非一様であっても、有限標本のカバレッジ確率 $ \geq \alpha $ を達成する。
• 異分散誤差を伴うシミュレーションにおいて、図1および図4に示すように、標準順応的予測と比較して、真の条件付き予測区間をはるかに正確に捉える。
• p = 3 および p = 500 の両方の設定において、すべての手法（標準および局所的順応的予測）が名目水準 $ \alpha = 0.95 $ に近いカバレッジを維持しており、局所的手法では区間形状の忠実度がより優れている。
• 最近傍法および距離に基づく局所化関数の両方が、標準順応的予測を上回り、真の異分散構造をよりよく捉えていた。
• データ駆動型バンド幅選択手順は、カバレッジ不足と区間サイズの積を最小化することで、カバレッジと区間長のバランスを効果的にとらえていた。
• 高次元設定では、$ V_i $ と $ X_{i,j} $ の間で相互情報量が最大となる特徴方向に射影することで、性能が著しく向上し、次元の呪いに対しても本手法の頑健性が示された。