[論文レビュー] Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation

Sangdon Park, Osbert Bastani+2 more|arXiv (Cornell University)|Feb 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 17

ひとこと要約

この論文は、分布シフトを補正するための非教師ありドメイン適応と重要度重み付けを組み合わせることで、共変量シフト下でのキャリブレートされた不確実性予測のための新規手法を提案する。アプローチは、ソースとターゲットの分布を整合させるための共有特徴空間を学習し、重要度重み付けによるキャリブレーションを用いて信頼性を向上させる。MNIST から SVHN や USPS へのベンチマークシフトにおいて、期待キャリブレーション誤差（ECE）と過信の低減の両面で、ベースラインを上回る性能を発揮する。

ABSTRACT

Reliable uncertainty estimates are an important tool for helping autonomous agents or human decision makers understand and leverage predictive models. However, existing approaches to estimating uncertainty largely ignore the possibility of covariate shift--i.e., where the real-world data distribution may differ from the training distribution. As a consequence, existing algorithms can overestimate certainty, possibly yielding a false sense of confidence in the predictive model. We propose an algorithm for calibrating predictions that accounts for the possibility of covariate shift, given labeled examples from the training distribution and unlabeled examples from the real-world distribution. Our algorithm uses importance weighting to correct for the shift from the training to the real-world distribution. However, importance weighting relies on the training and real-world distributions to be sufficiently close. Building on ideas from domain adaptation, we additionally learn a feature map that tries to equalize these two distributions. In an empirical evaluation, we show that our proposed approach outperforms existing approaches to calibrated prediction when there is covariate shift.

研究の動機と目的

• 訓練データの分布と異なるテストデータの分布（共変量シフト）下で、機械学習モデルの不確実性がキャリブレートされていない問題に対処すること。
• ターゲットラベルが入手不可である状況でも、ラベル付きソースデータとラベルなしターゲットデータを活用してキャリブレートされた予測フレームワークを構築すること。
• 特に安全が求められる応用分野において、分布シフトによって引き起こされる過信の是正を通じて、モデルの信頼性を向上させること。
• 重要度重み付けとドメイン適応を統合した、共変量シフト下でのキャリブレーション誤差に対する新しい上界を形式化すること。
• 提案手法が分布シフト下で標準的なキャリブレーション手法を上回ることを、実験的に検証すること。

提案手法

• ソース識別器を用いて、サンプルがターゲット（シフト済み）分布に属する確率を推定する重要度重みを推定する。
• 重要度重み付きECEとソース識別器の誤差を組み合わせた、期待キャリブレーション誤差（ECE）の新しい上界を導入する。
• 敵対的ドメイン適応により特徴マップを学習し、ソースとターゲットの特徴の区別がつかなくなるようにすることで、重要度重み付けに必要なサポート包含仮定を満たす。
• 最終分類器の温度スケーリングを用いて、提案されたECEの上界を最小化することで不確実性予測器を訓練する。
• 非教師ありドメイン適応（ドメイン識別器を介して）と不確実性キャリブレーションを統合し、シフトした分布でも頑健な性能を達成する。
• ラベル付きソースデータとラベルなしターゲットデータのみを用いて、ターゲットラベルが不要なエンドツーエンドの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 テスト分布が訓練分布と異なる（共変量シフト）状況下で、ターゲットラベルが入手不可な場合に、不確実性キャリブレーションを改善できるか？
• RQ2 ラベルなしターゲットデータを活用することで、不確実性推定における分布シフトを是正できるか？
• RQ3 ドメイン適応と重要度重み付けを組み合わせることで、温度スケーリングなどの標準的手法よりも優れたキャリブレーションが達成できるか？
• RQ4 特徴の整合性と重要度重み付けは、共変量シフト下での予測の過信を低減するためにどの程度の影響を及ぼすか？
• RQ5 MNIST から SVHN と MNIST から USPS のような異なるレベルの分布シフトにおいて、提案手法はどのように性能を発揮するか？

主な発見

• 提案手法（FL+IW+Temp.）は、MNIST から SVHN や USPS への複数の共変量シフトベンチマークにおいて、ベースラインの分類器や温度スケーリングと比較して、顕著に低い期待キャリブレーション誤差（ECE）を達成する。
• MNIST から SVHN へのシフトにおいて、ECEが大幅に低減され、高シフト状況下での有効性が示された。
• アブレーションスタディの結果、重要度重み付けがECEの改善に最も寄与しており、特にターゲット分布がソース分布よりもばらつきが大きい場合に顕著である。
• 特徴学習は全体的なキャリブレーション性能を向上させるが、大きなシフトでは顕著な向上が得られ、小さなシフト（MNIST から USPS）では重要度重み付け単体でも特徴学習を上回る性能を示す。
• シフトがない状況（例：MNIST から MNIST）でも良好な性能を維持しており、分布安定性に対して頑健であることが示された。
• MNIST から SVHN ベンチマークではECE推定値の分散が高めに観察され、主にソース識別器のトレーニングの不安定さに起因し、重要度重み推定に影響を及ぼしている。