[論文レビュー] Inductive Conformal Prediction: A Straightforward Introduction with Examples in Python

Martim Sousa|arXiv (Cornell University)|Jun 23, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、被覆確率が保証される予測区間または予測集合を生成する、分布フリーでモデルに依存しない手法である誘導的順序適合予測（ICP）を提示する。この手法は、訓練データでモデルを学習し、補正データで非適合スコアを計算し、これらのスコアの分位数を用いて信頼集合を形成する。主な貢献は、ボストン住宅データセットやCIFAR-10といった実世界のデータセットを用いた回帰および分類におけるICPの応用を示す、実践的でコードを伴うチュートリアルである。

ABSTRACT

Inductive Conformal Prediction (ICP) is a set of distribution-free and model agnostic algorithms devised to predict with a user-defined confidence with coverage guarantee. Instead of having point predictions, i.e., a real number in the case of regression or a single class in multi class classification, models calibrated using ICP output an interval or a set of classes, respectively. ICP takes special importance in high-risk settings where we want the true output to belong to the prediction set with high probability. As an example, a classification model might output that given a magnetic resonance image a patient has no latent diseases to report. However, this model output was based on the most likely class, the second most likely class might tell that the patient has a 15% chance of brain tumor or other severe disease and therefore further exams should be conducted. Using ICP is therefore way more informative and we believe that should be the standard way of producing forecasts. This paper is a hands-on introduction, this means that we will provide examples as we introduce the theory.

研究の動機と目的

• 機械学習における不確実性の定量的評価のため、分布フリーでモデルに依存しない手法として誘導的順序適合予測（ICP）を紹介すること。
• 点予測の限界を補うために、統計的被覆確率が保証された予測区間または予測集合を提供すること。
• 単一クラスや点推定よりも情報量の多い出力を提供することで、意思決定支援の質を向上させる。
• 予測集合の補正と適応性を向上させるために、ナイーブ、クラスバランス型、適応的予測集合の3種類の非適合スコア戦略を比較すること。
• scikit-learnおよびKerasを用いたコードベースの実践的チュートリアルを提供し、実世界のシナリオへの採用を促進すること。

提案手法

• データセットを3つの互いに素な集合に分割する：訓練（50％）、補正（25％）、検証（25％）として、独立性を確保する。
• 訓練セットで機械学習モデルを学習し、補正セットおよび検証セットに対して予測を生成する。
• 予測誤差または不確実性を定量化する非適合スコア関数 s(x, y) を定義する。回帰では s(x, y) = |f(x) - y| であり、分類では s(x, y) = 1 - f(x)_y である。
• 補正セットからの非適合スコアの (1−α) 分位数を計算し、閾値 q̂ を決定することで、周辺被覆保証を達成する。
• 予測集合 C(x_val) を、y_val ∈ C(x_val) が確率 1−α 以上で成り立つように、区間またはクラスの集合として構築する。
• 適応的予測集合の場合は、信頼度の高い順にソートされた累積ソフトマックス確率を用い、累積和が q̂ を超えるまでクラスを順次含める。

実験結果

リサーチクエスチョン

• RQ1 誘導的順序適合予測は、回帰および分類において、周辺被覆が保証される予測集合をどのように生成できるか？
• RQ2 ナイーブ、クラスバランス型、適応的非適合スコア関数の間で、被覆率と集合サイズにどのような実用的差が生じるか？
• RQ3 非適合スコア関数の選択が、実世界の応用における予測集合のサイズと情報量にどのように影響するか？
• RQ4 不均衡なデータ設定において、ICPは異なるクラスにわたって被覆をどの程度維持できるか？また、その改善策は何か？
• RQ5 scikit-learn や Keras といった標準的な機械学習フレームワークを用いて、最小限のコードで順序適合予測を実装できるか？

主な発見

• 回帰におけるナイーブ手法は α=0.1 の条件下で90％の被覆率を達成し、有効な予測区間を生成できることを示した。
• 分類においても、ナイーブ手法は α=0.1 の条件下で88.18％の検証被覆率を達成し、クラス固有のばらつきが見られるものの、周辺被覆保証が確認された。
• クラスバランス型手法は、ナイーブ手法で見られた過剰被覆および不足被覆の問題を軽減し、クラス間での被覆の一貫性を向上させた。
• 適応的予測集合（APS）手法は α=0.1 の条件下で90.44％の検証被覆率を達成し、累積信頼度に基づいてクラスを順次含める仕組みにより、より適応的な性能を示した。
• APSはナイーブ手法よりも大きな予測集合を生成し、特に曖昧な入力に対して不確実性をより包括的に捉える能力を示した。
• T=100回の試行による実証的検証で、実測被覆分布が理論的な Beta(n_cal+1−l, l) 分布とよく一致した。これにより、ICPの正しく実装されていることが裏付けられた。