[論文レビュー] Class-Conditional Conformal Prediction with Many Classes

Tiffany Ding, Anastasios N. Angelopoulos+3 more|arXiv (Cornell University)|Jun 15, 2023

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本論文は、スコア分布が類似するクラスをクラスタリングし、クラスタレベルで conformal calibration を適用することで、多クラス・データ制限設定においてクラス条件付きカバレッジを達成するクラスタリング型 conformal prediction を提案する。

ABSTRACT

Standard conformal prediction methods provide a marginal coverage guarantee, which means that for a random test point, the conformal prediction set contains the true label with a user-specified probability. In many classification problems, we would like to obtain a stronger guarantee--that for test points of a specific class, the prediction set contains the true label with the same user-chosen probability. For the latter goal, existing conformal prediction methods do not work well when there is a limited amount of labeled data per class, as is often the case in real applications where the number of classes is large. We propose a method called clustered conformal prediction that clusters together classes having "similar" conformal scores and performs conformal prediction at the cluster level. Based on empirical evaluation across four image data sets with many (up to 1000) classes, we find that clustered conformal typically outperforms existing methods in terms of class-conditional coverage and set size metrics.

研究の動機と目的

• 多クラス分類におけるクラス条件付きカバレッジの必要性を動機づける。
• 各クラスごとのデータが限られている状況に対応するため、クラスタリング型 conformal prediction を提案する。
• 大規模画像データセットで、標準的およびクラス別 conformal prediction に対する実証的改善を示す。
• 多クラス設定で conformal 法を選択する際の実践的な指針を提供する。

提案手法

• スコア分布が類似するクラスをクラスタリングするように、conformal prediction を拡張する。
• 校正データをクラスタリング用と適切な校正用のセットに分割する。
• クラスタレベルの conformal 分位数を計算し、各クラスのクラスタに基づいて予測集合を割り当てる。
• 珍しいクラスにはヌルクラスタを含め、彼らには標準的な校正にフォールバックする。
• クラスのスコア分布を分位数ベースの特徴空間に埋め込み、k-means でクラスタリングを推進する。
• 理論的保証を提供する：非ヌルクラスタに対するクラスタ条件付きカバレッジと、オラクルクラスタリングの下での近似的なクラス条件付きカバレッジ。

実験結果

リサーチクエスチョン

• RQ1 スコア分布でクラスをクラスタリングすることで、限られた校正データ下でクラス条件付きカバレッジを改善できるか？
• RQ2 多クラス設定で、クラスタリング型 conformal prediction は標準法およびクラス別法よりカバレッジと集合サイズのバランスを良くするか？
• RQ3 実務上の性能のために、クラスタリングの分率とクラスタ数をどのように選択すべきか？
• RQ4 近似的な（オラクルではない）クラスタリングを用いた場合の理論的保証は何か？
• RQ5 最大1000クラスまでの多様な大規模データセットで、クラスタリング型 conformal prediction はどの程度機能するか？

主な発見

• クラスタリング型 conformal prediction は、データセットとスコア関数を問わず、最良または同等のクラスカバレッジギャップを達成することが多い。
• クラスタリングは限られたデータ条件で一般に標準法およびクラス別法を上回り、特に中程度の校正サイズで集合サイズも競争力を持つ。
• クラス別は、クラスごとの校正例が少ないと不安定になり得る一方、標準法はクラス条件付き保証を欠く。クラスタリングはこの両方の弱点を緩和する。
• ImageNet、CIFAR-100、Places365、iNaturalist における経験的結果は、softmax、APS、RAPS の各スコアで改善を示した。
• この手法は、クラスタ条件付きカバレッジとデータ効率性のバランスを取るための gamma と M の選択に実用的な指針を提供する。