[論文レビュー] Conditional validity of inductive conformal predictors

Vladimir Vovk|arXiv (Cornell University)|Sep 12, 2012

Probabilistic and Robust Engineering Design参考文献 19被引用数 8

ひとこと要約

本稿は、帰納的コフォーマル予測子（ICPs）における条件付き妥当性を調査し、ラベル・オブジェクト・訓練に特化した条件付きカバレッジを達成するための修正を提案する。ICPsが自然に訓練条件付き妥当性を達成することを示し、誤検出率と誤見逃し率を制御できるラベル条件付きICPを導入する。一方、オブジェクト条件付き妥当性は十分なデータがあれば近似的に達成可能である。

ABSTRACT

Conformal predictors are set predictors that are automatically valid in the sense of having coverage probability equal to or exceeding a given confidence level. Inductive conformal predictors are a computationally efficient version of conformal predictors satisfying the same property of validity. However, inductive conformal predictors have been only known to control unconditional coverage probability. This paper explores various versions of conditional validity and various ways to achieve them using inductive conformal predictors and their modifications.

研究の動機と目的

• 帰納的コフォーマル予測子の妥当性保証を、無条件カバレッジを超えてさまざまな形の条件付き妥当性に拡張すること。
• 二値分類における第一種・第二種の誤り率を制御する実用的ニーズに対応し、ラベル条件付き妥当性を可能にすること。
• 現実的なデータ条件下でのオブジェクト条件付き妥当性の実現可能性と限界を調査すること。
• Spambaseデータセット上で条件付きICPの性能を実証的に評価し、誤り率の制御と予測効率の観点から分析すること。

提案手法

• PAC型の境界を用いた訓練条件付き妥当性フレームワークを提案し、標準的なICPsがこの性質を本質的に満たしていることを示す。
• ラベル内での適合スコアに基づくp値を用いてインスタンスを分類するラベル条件付きICPを導入し、誤検出率の制御を保証する。
• 補正セットを用いて適合スコアを推定し、p値を導出し、条件付き確率制約下での有効な予測集合を実現する。
• テストオブジェクトの特徴に条件づける修正されたICPを適用し、オブジェクト条件付き妥当性を近似的に達成するが、各オブジェクトに正の確率がなければ正確な制御は不可能である。
• Spambaseデータセットを用いて提案されたICPの変種の性能を実証的に検証し、異なる条件付き妥当性の枠組み下での予測集合のサイズと誤り率を比較する。
• 条件付きICPをROC曲線分析と結びつけ、最適なしきい値選択が所望の誤り率制約（例：最大誤検出率ε）に対応することを示す。

実験結果

リサーチクエスチョン

• RQ1 帰納的コフォーマル予測子を修正することで、ラベル条件付き妥当性を達成でき、誤検出率と誤見逃し率を制御できるか？
• RQ2 帰納的コフォーマル予測において、正確なオブジェクト条件付き妥当性は達成可能か？もし不可能であれば、理論的・実用的限界は何か？
• RQ3 標準的な帰納的コフォーマル予測子において、訓練条件付き妥当性はどのようにして生じるのか？また、形式的な保証は可能か？
• RQ4 Spambaseのような実世界のデータセットにおいて、条件付きICPの実証的性能は、予測集合のサイズと誤り率制御の観点でどの程度か？
• RQ5 条件付きICPは二値分類タスクにおけるROC曲線分析およびしきい値選択とどのように関係するか？

主な発見

• 帰納的コフォーマル予測子は、PAC型の境界（命題2a）により、訓練条件付きカバレッジ確率が確率1−δで1−ε以上であることが保証されるため、自然に訓練条件付き妥当性を達成する。
• 誤検出率がラベル条件付き分布下でε以下に抑えられるように、p値がε以下である場合にインスタンスを正例と分類するラベル条件付きICPが提案される。
• テストオブジェクトに正の確率がなければ、オブジェクト条件付き妥当性は正確には達成できないが、十分なデータがあれば近似的かつ漸近的に達成可能である。
• Spambaseデータセットにおける実証的評価では、ラベル条件付きICPが誤検出率を効果的に制御しながら、妥当な予測集合サイズを維持していることが示された。
• 補正セットにおけるk番目の最大適合スコア（k ≈ ε×n⁰）に基づくしきい値選択法により、誤り率制約を実装する実用的な手法が得られる。
• 計算効率は高いが、訓練データと補正データを分離しているため、完全なコフォーマル予測子が全データをモデル学習と補正に同時に使用するのとは異なり、予測非効率性に苦しむ可能性がある。