[論文レビュー] Exchangeability, Conformal Prediction, and Rank Tests

Arun Kumar Kuchibhotla|arXiv (Cornell University)|May 13, 2020

Bayesian Methods and Mixture Models参考文献 78被引用数 7

ひとこと要約

この論文は交換可能性の概念を通じて、正則化予測とノンパラメトリック順位検定の統一的理論的基盤を確立し、交換可能な確率変数における順位の均一性を活用することで、分布の仮定なしに有限標本の妥当性を達成していることを示している。主な貢献は、交換可能性が任意の次元空間においても予測と仮説検定の両方を、あらゆる予測または検定アルゴリズムのラッピングとして扱える分布フリー推論を可能にすることである。

ABSTRACT

Conformal prediction has been a very popular method of distribution-free predictive inference in recent years in machine learning and statistics. Its popularity stems from the fact that it works as a wrapper around any prediction algorithm such as neural networks or random forests. Exchangeability is at the core of the validity of conformal prediction. The concept of exchangeability is also at the core of rank tests widely known in nonparametric statistics. In this paper, we review the concept of exchangeability and discuss the implications for conformal prediction and rank tests. We provide a low-level introduction to these topics, and discuss the similarities between conformal prediction and rank tests.

研究の動機と目的

• 交換可能性が分布フリー統計的推論における統一的原則として果たす役割を明確化すること。
• 異なる応用を持つにもかかわらず、交換可能性が正則化予測とノンパラメトリック順位検定の両方に根拠を提供することを示すこと。
• 交換可能性とデータ駆動型変換を用いて、任意の次元空間や非数値データ空間への順位検定の拡張を実現すること。
• 交換可能性における順位の均一性を通じて、正則化予測と順位検定の両方が有限標本の妥当性を示すことを強調すること。
• 分割正則化法とデータ駆動型順位検定における統計的効率性と検出力に関する未解決の問題を特定すること。

提案手法

• インデックスの任意の置換に対して同時分布が不変であることを交換可能性として定義し、これにより実数値の交換可能確率変数の順位がすべての置換にわたって一様に分布することを示す。
• 交換可能性を用いて、任意の下位の予測アルゴリズムに依存しない正則化予測区間の妥当性を正当化する。
• 同じ交換可能性の原則を応用して、分布フリーで有限標本の妥当性を持つ順位ベースの仮説検定（例えば、分布の同一性や独立性の検定）を構築する。
• 次元削減としてデータ駆動型変換（サンプル分割を含む）を導入し、交換可能性と第1種誤り率の制御を保ちつつ、任意の空間への順位検定の拡張を可能にする。
• 適切に使用される場合（例えば、サンプル分割や1つを除いた構成を用いる場合）、データ依存の変換でさえも交換可能性を保持できることを示す。
• 正則化予測と順位検定の両方を、任意のアルゴリズムをラッピングする枠組みとして提示し、交換可能性下でのロバストネスと一般性を強調する。

実験結果

リサーチクエスチョン

• RQ1 交換可能性は、分布の仮定なしに正則化予測で有限標本の妥当性をどのように実現するのか？
• RQ2 多次元または非数値データに対する順位検定は、第1種誤り率の制御を維持するために、どのように交換可能性に依存しているのか？
• RQ3 順位検定におけるデータ駆動型変換は、交換可能性を保持し、有限標本の妥当性を保証できるか？
• RQ4 分割正則化予測とサンプル分割順位検定における統計的効率性と妥当性のトレードオフは何か？
• RQ5 データ駆動型変換を用いた交換可能性に基づく推論において、検出力をどのように向上させられるか？

主な発見

• 交換可能性により、実数値の交換可能確率変数の順位はすべての置換にわたって一様に分布し、これが正則化予測と順位検定の両方に根拠を提供するコアメカニズムである。
• 正則化予測は、ニューラルネットワークやランダムフォレストなどの下位の予測アルゴリズムに依存せず、交換可能性を活用することで有限標本の妥当な予測領域を達成する。
• 交換可能性に基づく分布の同一性や独立性のための順位検定は、高次元空間や非数値空間においても、有限標本の妥当性と分布フリー性を有する。
• サンプル分割に基づくデータ駆動型変換を含め、交換可能性を保持することができ、したがって順位検定における有限標本の第1種誤り率の制御を維持できる。
• 分割正則化法は、データ分割による統計的効率性の低下を伴うが、ややきつい条件下では、最適な予測領域に漸近的に収束する。
• 特に次元の呪いと非監督的推定の制約のため、データ適応的変換を用いた正則化予測と順位検定における検出力最適化に関する未解決の問題が残っている。