[論文レビュー] Conformal calibrators

Vladimir Vovk, Ivan Petej+2 more|arXiv (Cornell University)|Feb 18, 2019

Probabilistic and Robust Engineering Design参考文献 12被引用数 6

ひとこと要約

本稿では、任意の既存の予測システムで、その初期の有効性にかかわらず、テスト対象に完全に適応する予測分布を補正するための「同等性補正法」を導入する。この手法は確率的補正を保証し、IID仮定を必要とせず、人工的およびベンチマークデータセットの両方で予測性能を顕著に向上させる。

ABSTRACT

Most existing examples of full conformal predictive systems, split-conformal predictive systems, and cross-conformal predictive systems impose severe restrictions on the adaptation of predictive distributions to the test object at hand. In this paper we develop split-conformal and cross-conformal predictive systems that are fully adaptive. Our method consists in calibrating existing predictive systems; the input predictive system is not supposed to satisfy any properties of validity, whereas the output predictive system is guaranteed to be calibrated in probability. It is interesting that the method may also work without the IID assumption, standard in conformal prediction.

研究の動機と目的

• テスト対象に完全に適応する分割同等性およびクロス同等性予測システムを構築し、従来の手法の制限を克服すること。
• 初期の有効性にかかわらず、任意の予測システムを、確率的補正が保証されるものに補正すること。
• 同等性予測における標準的なIID仮定を緩和しても、補正手順が有効であることを示すこと。
• 本手法の実用的性能を人工的およびベンチマークデータセットで評価し、ベースとなる予測システムを上回ることを示すこと。

提案手法

• 本手法は、任意の入力予測システムに同等性化手順を適用し、確率的補正が保証される出力システムに変換する。この変換は確率的補正変換器を用いる。
• 訓練データを訓練セットと別個の補正セットに分割する分割同等性フレームワークを用いる。
• 適合性測度は、ベース予測システム出力の累積分布関数として定義され、単調性と適切なスケーリングを保証する。
• 出力予測分布は、適合性スコアの確率積分変換を用いて構築され、帰無仮説下で一様性が保証される。
• 適合性スコアの厳密に増加する変換に対して補正プロセスが不変であるため、ベースシステムの設計に柔軟性が与えられる。
• 適合性スコアが一様分布かつ独立であれば、得られる予測システムは確率的補正が保証されるという事実を活用する。

実験結果

リサーチクエスチョン

• RQ1 テスト対象に完全に適応する予測システムを構築できるか、かつ確率的補正が保証されるか？
• RQ2 同等性予測における標準的なIID仮定を緩和しても、同等性補正手順は有効に機能するか？
• RQ3 人工的およびベンチマークデータセットにおいて、本手法による補正によってベース予測システムの性能がどのように向上するか？
• RQ4 非線形に補正がずれた予測システムは、ベースシステムの有効性に関する事前仮定なしに補正可能か？
• RQ5 補正済みシステムの条件付き予測性能は何か？また、オブジェクト条件付き（Mondrian）アプローチを用いてさらに最適化可能か？

主な発見

• 同等性補正法は、ベースシステムの初期特性にかかわらず、確率的補正が保証される予測システムに変換する。
• 異分散性ノイズを含むトイな人工データセットにおいて、補正済みのナダラヤ＝ウォーソン予測システムは、バンド幅パラメータの広い範囲でCRPS（連続ランク確率スコア）が顕著に改善された。
• 補正手順は、解像度は完璧だが補正が悪いベースシステムに対しても有効であり、$\phi(u) = u^2$ などの非線形変換を用いた例でも性能向上が確認された。
• 条件付き分布関数が連続で、適合性スコアが一様分布に従う限り、IID仮定がなくても本手法は有効である。
• 補正が悪いベースシステムの同等性化バージョンは、真の条件付き分布に急速に収束するが、元のシステムは依然として補正がずれている。
• 実験的結果から、複数のパrameter設定において、補正済みシステムがベースシステムをCRPSの観点で上回ることが示され、予測精度の堅牢な向上が裏付けられた。