[論文レビュー] Distribution-free uncertainty quantification for classification under label shift

Aleksandr Podkopaev, Aaditya Ramdas|arXiv (Cornell University)|Mar 4, 2021

Machine Learning and Data Classification参考文献 28被引用数 7

ひとこと要約

本稿は、ラベルシフト下での分類における分布フリーな不確実性評価（UQ）手法を、推定された重要度重みを用いた再重み付けによる順序付き予測と後処理補正を組み合わせることで提案する。理論的保証を確立し、実験的にも再重み付けがラベルの割合が訓練データと異なるターゲット分布でも有効なカバレッジと補正を回復することを示した。

ABSTRACT

Trustworthy deployment of ML models requires a proper measure of uncertainty, especially in safety-critical applications. We focus on uncertainty quantification (UQ) for classification problems via two avenues -- prediction sets using conformal prediction and calibration of probabilistic predictors by post-hoc binning -- since these possess distribution-free guarantees for i.i.d. data. Two common ways of generalizing beyond the i.i.d. setting include handling covariate and label shift. Within the context of distribution-free UQ, the former has already received attention, but not the latter. It is known that label shift hurts prediction, and we first argue that it also hurts UQ, by showing degradation in coverage and calibration. Piggybacking on recent progress in addressing label shift (for better prediction), we examine the right way to achieve UQ by reweighting the aforementioned conformal and calibration procedures whenever some unlabeled data from the target distribution is available. We examine these techniques theoretically in a distribution-free framework and demonstrate their excellent practical performance.

研究の動機と目的

• ラベルの割合が不一致するラベルシフト下で、標準的な分布フリー手法がラベルの割合の不一致により性能が低下する不確実性評価（UQ）の劣化を是正すること。
• i.i.d. の保証を持つ順序付き予測と確率的補正の手法を、ラベルシフトの設定に拡張し、ラベルなしのターゲットデータを用いること。
• 訓練データとテストデータのラベル周辺分布が異なる状況でも有効である理論的根拠に基づいた分布フリーなUQ手順を提供すること。
• ラベルの割合の不一致が生じる状況でも、推定された重要度重みに基づく再重み付けが順序付き予測と補正プロセスの両方におけるカバレッジと補正を回復することを実証すること。

提案手法

• ターゲット分布におけるラベルシフトを補正するために、推定された重要度重みを用いて順序付き予測手順を再重み付けすること。
• ラベルなしのターゲットデータを用いて重要度重みを推定し、その重みに従って補正データを再重み付けすることで、ターゲットドメインでの補正を達成する後処理ビン補正の適応。
• 最大尤度法やモーメントベース推定法を用いて、ラベルなしのホールドアウトターゲットデータセットからラベルシフトの重要度重みを推定すること。
• ラベルシフト下でもマージナルカバレッジを維持できるように、順序付き予測における重み付き交換可能性を適用すること。
• 理論的分析により、再重み付けされた予測集合と補正確率が、ラベルシフト下でも有効なカバレッジと補正を維持することを示した。
• 実データ（例：ワインの品質データセット）を用いた実験的妥当性評価として、ラベルシフトをシミュレートし、実用的有効性を示した。

実験結果

リサーチクエスチョン

• RQ1 順序付き予測や補正といった分布フリーな不確実性評価手法が、ラベルシフト下でも有効なカバレッジと補正を維持できるか。
• RQ2 強い分布仮定を必要とせずに、ラベルシフトを考慮するには順序付き予測と補正をどのように変更すべきか。
• RQ3 ラベルシフトが標準的UQ手法の性能に与える理論的影響は何か。また、重要度重み付けによって是正可能か。
• RQ4 ラベルなしのターゲットデータしか利用できない状況で、再重み付けされたUQ手法の実用的性能はどの程度か。
• RQ5 ラベルなしターゲットデータから推定された重要度重みは、予測集合と補正確率の両方における有効な不確実性評価を回復できるか。

主な発見

• ラベルシフトは、予測性能が維持されていても、標準的な分布フリーなUQ手法におけるカバレッジと補正の両方を顕著に劣化させる。
• 推定された重要度重みを用いた順序付き予測の再重み付けにより、ラベルシフト下でもマージナルカバレッジが回復され、理論的保証が得られる。
• 再重み付けされたデータを用いた後処理補正はターゲット分布で近似的に補正を達成するが、補正なしの手法では失敗する。
• ワインの品質データセットを用いた実験結果から、再重み付けされたUQ手法が理想の対角線の信頼性曲線に近く追随し、補正なしの手法を上回ることを示した。
• 理論的分析により、推定確率の誤差が重要度重み推定の精度に応じて減少することが確認され、ラベルシフト下でもロバストであることが保証された。