[論文レビュー] Flexible distribution-free conditional predictive bands using density estimators

Rafael Izbicki, Gilson T. Shimizu+1 more|arXiv (Cornell University)|Oct 12, 2019

Statistical Methods and Inference参考文献 17被引用数 24

ひとこと要約

本稿では、特徴量と応答変数の間の強い仮定を必要とせず、漸近的条件付きカバレッジを達成する2つのコンフォーマル予測手法、Dist-split および CD-split を提案する。条件付き密度推定とデータ駆動型特徴空間分割を活用することで、CD-split はより小さく最適な予測領域を生成しながらも、強い条件付きカバレッジを維持し、異方性やマルチモーダルなノイズを含む多様な設定において、既存手法を凌駕する。

ABSTRACT

Conformal methods create prediction bands that control average coverage under no assumptions besides i.i.d. data. Besides average coverage, one might also desire to control conditional coverage, that is, coverage for every new testing point. However, without strong assumptions, conditional coverage is unachievable. Given this limitation, the literature has focused on methods with asymptotical conditional coverage. In order to obtain this property, these methods require strong conditions on the dependence between the target variable and the features. We introduce two conformal methods based on conditional density estimators that do not depend on this type of assumption to obtain asymptotic conditional coverage: Dist-split and CD-split. While Dist-split asymptotically obtains optimal intervals, which are easier to interpret than general regions, CD-split obtains optimal size regions, which are smaller than intervals. CD-split also obtains local coverage by creating a data-driven partition of the feature space that scales to high-dimensional settings and by generating prediction bands locally on the partition elements. In a wide variety of simulated scenarios, our methods have a better control of conditional coverage and have smaller length than previously proposed methods.

研究の動機と目的

• 特徴量と応答変数の依存関係に関する制限的な仮定を必要とせず、漸近的条件付きカバレッジを達成するコンフォーマル予測手法の開発。
• 従来の局所的カバレッジ手法がデータのスパarsity によって失敗する高次元設定において、効果的な予測帯の実現。
• 既存手法よりもサイズが小さく、かつ条件付きカバレッジの精度が優れた予測領域の生成。
• 局所的妥当性をサポートし、高次元にスケーリング可能なデータ駆動型特徴空間分割戦略の導入。
• 回帰および分類タスクの両方において、密度ベースのコンフォーマル手法の有効性の実証。

提案手法

• Dist-split は条件付き密度推定を用いて予測帯を区間として構築し、漸近的条件付きカバレッジ下で最適なオラクル区間へ収束する。
• CD-split は特徴空間を局所的近傍に分割するための新規なデータ駆動型メトリクスを採用し、高次元にスケーリング可能な局所的コンフォーマル予測を可能にする。
• 両手法ともスプリットコンフォーマル推論を用い、i.i.d. 仮定下でマージナルカバレッジを保証するとともに、密度推定により漸近的条件付きカバレッジを達成する。
• 予測帯は、条件付き密度推定値を統合して得られる推定された条件付き累積分布関数から導出される。
• 計算上の実行可能性を確保するため、高速でスケーラブルな条件付き密度推定器（例：FlexCode）に依存している。
• CD-split の分割戦略はデータ密度に動的に適合し、高次元特徴空間における局所的カバレッジを向上させる。

実験結果

リサーチクエスチョン

• RQ1 誤差項の独立性や対称性を仮定せず、漸近的条件付きカバレッジを達成する予測帯を構築することは可能か？
• RQ2 データのスパarsity が従来の近傍手法の性能を低下させる高次元特徴空間において、局所的妥当性をどのように維持できるか？
• RQ3 区間ベースの手法よりも小さな予測領域を生成しつつ、強力なカバレッジ保証を維持することは可能か？
• RQ4 条件付き密度に基づくデータ駆動型分割戦略は、実際の運用において局所的および条件付きカバレッジを改善するか？
• RQ5 これらの手法は、既存のコンフォーマル予測アプローチと比較して、カバレッジ精度と予測帯サイズの両面で優れているか？

主な発見

• CD-split はすべてのシミュレーション設定で最良の条件付きカバレッジ制御を達成し、名目水準 90% に近いカバレッジを維持する点で、既存手法を顕著に上回った。
• 大多数の設定において、CD-split は平均的に最小の予測帯サイズを生成し、領域推定の効率性が優れていることを示した。
• Dist-split は、区間としての解釈性が好ましい場合に備えて、条件付きカバレッジ制御および帯サイズの両面で常に第2位を維持し、強力な代替手法を提供した。
• 提案手法は、誤差の独立性や対称性を仮定せず、異方性やマルチモーダルなノイズに対してもロバストであるため、漸近的条件付きカバレッジを達成した。
• CD-split は分類タスクにも成功裏に拡張され、Probability-split よりも優れた条件付きカバレッジを示したが、平均的な予測帯サイズはわずかに大きかった。
• CD-split のデータ駆動型分割戦略により、従来手法がデータスパarsity のために失敗する高次元設定でも、スケーラブルな局所的カバレッジが実現された。