[論文レビュー] Learning Optimal Conformal Classifiers
本稿では、ミニバッチ上でキャリブレーションと予測をシミュレートすることにより、モデル学習に順手的予測を統合する微分可能でエンドツーエンドの訓練手順であるConformal Training（ConfTr）を提案する。ConfTrは平均的信頼区間サイズ（非効率性）を低減し、マージナルなカバレッジ保証を維持したまま、クラス条件付き非効率性と信頼区間構成に対する細かい制御を可能にする。
Modern deep learning based classifiers show very high accuracy on test data but this does not provide sufficient guarantees for safe deployment, especially in high-stake AI applications such as medical diagnosis. Usually, predictions are obtained without a reliable uncertainty estimate or a formal guarantee. Conformal prediction (CP) addresses these issues by using the classifier's predictions, e.g., its probability estimates, to predict confidence sets containing the true class with a user-specified probability. However, using CP as a separate processing step after training prevents the underlying model from adapting to the prediction of confidence sets. Thus, this paper explores strategies to differentiate through CP during training with the goal of training model with the conformal wrapper end-to-end. In our approach, conformal training (ConfTr), we specifically "simulate" conformalization on mini-batches during training. Compared to standard training, ConfTr reduces the average confidence set size (inefficiency) of state-of-the-art CP methods applied after training. Moreover, it allows to "shape" the confidence sets predicted at test time, which is difficult for standard CP. On experiments with several datasets, we show ConfTr can influence how inefficiency is distributed across classes, or guide the composition of confidence sets in terms of the included classes, while retaining the guarantees offered by CP.
研究の動機と目的
- 標準的な訓練ではモデルは正確性のために訓練されるが、順手的予測（CP）は事後的に適用され、非効率性の最適化が行われないという、CPへのモデル適合の欠如に対処する。
- 事後的CPの制限を克服する。これは、モデルの訓練目的に基づいて信頼区間を形作ったり、非効率性を低減したりできない。
- 信頼区間上で定義された任意の損失（例：平均サイズの最小化や特定クラスの含むことに対するペナルティ）の訓練時最適化を可能にする。
- バックプロパゲーションが順手的ラッパーを通り抜けることを可能にする、順手的キャリブレーションと予測の微分可能で滑らかな近似を提供する。
- モデルが順手的予測下でより小さい、より良い分布の信頼区間を生成するように学習できる訓練手順を提供する。これにより、実用的な不確実性推定が向上する。
提案手法
- 各ミニバッチ上でキャリブレーションと予測の半分に分割することにより、順手的予測のシミュレーションを行うConformal Training（ConfTr）を導入する。
- エンドツーエンド訓練を可能にするために、閾値に基づく適合スコアキャリブレーション（SmoothCal）と予測（SmoothPred）ステップの滑らかで微分可能な近似を使用する。
- 微分可能な損失関数を用いて予測された信頼区間上の損失を計算することで、訓練ループに順手的ラッパーを統合する。
- 分類損失（Lclass）とサイズ損失（Ω）を組み合わせた複合損失を最適化する。Lclassは誤ったまたは望ましくないクラスの含みをペナルティ処理し、Ωは平均的信頼区間サイズの最小化を目的とする。
- 閾値処理における勾配の流れを可能にするために、予測ステップに温度-ソフトプラススムージングを適用する。
- 経験的分布に基づく微分可能な分位数推定法（例：）を用いて、微分可能な方法でキャリブレーション閾値τを近似する。
実験結果
リサーチクエスチョン
- RQ1深層分類器の訓練プロセスに順手的予測を統合することで、信頼区間の非効率性を低減できるか？
- RQ2順手的予測を用いたエンドツーエンド訓練により、クラス条件付き非効率性と信頼区間構成に対するより良い制御が可能になるか？
- RQ3微分可能な順手的予測により、マージナルカバレッジ保証を維持したまま、より情報豊かな信頼区間を生成するようにモデルが学習できるか？
- RQ4平均的信頼区間サイズとクラスごとのカバレッジ分布の観点から、ConfTrは標準的な訓練に続く事後的CPと比較してどのように異なるか？
- RQ5本手法は、サイズ最小化を超えた信頼区間上の任意の目的関数の最適化に拡張可能か？
主な発見
- 標準的な訓練に続く事後的CPと比較して、MNISTおよびFashion-MNISTにおいて、ConfTrは平均的信頼区間サイズ（非効率性）を顕著に低減した。
- MNISTおよびFashion-MNISTにおいて、ConfTrはすべてのクラスでクラス条件付き非効率性を低減した。非効率性の分布は類似しているが、下方にシフトした。
- ConfTrは信頼区間構成の制御を可能にする。分類損失（Lclass）を用いて訓練した場合、特に分類が難しいクラスにおいて、カバレッジの混乱が低減される。
- CIFAR-10では、ConfTrは平均的非効率性を顕著に低減しなかった。これは、よりシンプルなデータセットでモデルがよりよくキャリブレーションされている場合に、利益が顕著に現れることを示唆している。
- ConfTrは、キャリブレーションを訓練に統合し、より広範な最適化目的を可能にするため、以前のBellotti（2021）の研究を包含する。
- 本手法は順手的予測のマージナルカバレッジ保証を維持しており、真のラベルが確率的に少なくとも1−αの確率で予測された信頼区間に含まれることを保証する。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。