[論文レビュー] Distribution-Free Prediction Sets with Random Effects

Robin Dunn, Larry Wasserman+1 more|arXiv (Cornell University)|Sep 20, 2018

Gaussian Processes and Bayesian Inference参考文献 14被引用数 7

ひとこと要約

本稿では、ランダム効果を伴うデータに対応するため、3つの手法—CDFプーリング、単一サブサンプリング、繰り返しサブサンプリング—を提案することで、コンフォーマル予測を拡張した。繰り返しサブサンプリング手法が、被覆率と予測集合の平均サイズの両立性において最良のバランスを達成しており、交換可能性に欠けるデータ構造下でも有効性を保証している。

ABSTRACT

We consider the problem of constructing distribution-free prediction sets when there are random effects. For iid data, prediction sets can be constructed using the method of conformal prediction. The validity of this prediction set hinges on the assumption that the data are exchangeable, which is not true when there are random effects. We extend the conformal method so that it is valid with random effects. We develop a CDF pooling approach, a single subsampling approach, and a repeated subsampling approach to construct conformal prediction sets in unsupervised and supervised settings. We compare these approaches in terms of coverage and average set size. We recommend the repeated subsampling approach that constructs a conformal set by sampling one observation from each distribution multiple times. Simulations show that this approach has the best balance between coverage and average conformal set size.

研究の動機と目的

• ランダム効果が存在する非交換可能性のないデータにおけるコンフォーマル予測の限界を解消すること。
• クラスタリングや階層的構造を示すデータに対して、有効な分布フリーな予測集合を構築すること。
• ランダム効果下での複数のコンフォーマル予測拡張手法を比較し、最も効果的なアプローチを同定すること。
• 予測集合が被覆率を維持しつつ、教師ありおよび教師なしの両設定で平均集合サイズを最小限に抑えること。

提案手法

• グループごとの累積分布関数を統合することでランダム効果を考慮するCDFプーリング手法を提案する。
• 各グループから1つの観測値を抽出することでグループレベルの構造を保持する単一サブサンプリング手法を導入する。
• 複数回にわたり各グループから1つの観測値を抽出することで、耐性を高める繰り返しサブサンプリング手法を開発する。
• これらの手法を教師ありおよび教師なしの学習設定に適用し、ランダム効果下でも有効性を維持する。
• 交換可能性をグループ固有のサンプリング戦略によって緩和することで、コンフォーマル予測の原則を応用する。
• 実証的キャリブレーションを通じて有効性を保証し、データが交換可能でない場合でも周辺被覆率を維持する。

実験結果

リサーチクエスチョン

• RQ1 ランダム効果を含むデータにおいて、コンフォーマル予測を有効に拡張できるか？
• RQ2 ランダム効果下で、異なるサブサンプリング戦略は被覆率と平均予測集合サイズの観点でどのように比較できるか？
• RQ3 ランダム効果が存在する状況で、被覆率と集合サイズの最良のトレードオフを提供するのはどの手法か？
• RQ4 CDFプーリングおよび単一サブサンプリングに比べ、繰り返しサブサンプリングは有効な予測集合を維持する点で優れているか？
• RQ5 提案手法は、教師ありおよび教師なしの学習文脈においても効果的に適用可能か？

主な発見

• シミュレーションにおいて、繰り返しサブサンプリング手法が被覆率と平均集合サイズの最良のバランスを達成した。
• 被覆率はすべての手法で有効であるが、繰り返しサブサンプリング手法は集合サイズの観点で優れた効率性を示した。
• CDFプーリングおよび単一サブサンプリングは有効ではあるが、集合サイズが繰り返しサブサンプリングに比べてやや大きくなるため、効率が劣る。
• 提案手法は、ランダム効果によりデータが非交換的であっても、有効な周辺被覆率を維持した。
• 被覆率と集合サイズの最適なトレードオフを実現するため、繰り返しサブサンプリング手法は実用的用途に推奨される。
• すべての手法が教師ありおよび教師なしの両設定で適用可能であり、コンフォーマル予測がクラスタリングされたデータに拡張された。