[論文レビュー] PAC Prediction Sets Under Covariate Shift

Sangdon Park, Edgar Dobriban+2 more|arXiv (Cornell University)|Jun 17, 2021

Adversarial Robustness in Machine Learning参考文献 44被引用数 5

ひとこと要約

この論文は、訓練データとテストデータの分布が異なる covariate shift の下で、重要度重みを活用して有効な不確実性評価を維持する PAC 予測集合を提案する。PS-W は、重要度重みの信頼区間を用いたリジェクションサンプリングを採用するロバストなアルゴリズムであり、ImageNet および DomainNet における複数のドメインシフトにおいて、最小の平均正規化予測集合サイズを達成しながら PAC 制約を満たす。

ABSTRACT

An important challenge facing modern machine learning is how to rigorously quantify the uncertainty of model predictions. Conveying uncertainty is especially important when there are changes to the underlying data distribution that might invalidate the predictive model. Yet, most existing uncertainty quantification algorithms break down in the presence of such shifts. We propose a novel approach that addresses this challenge by constructing \emph{probably approximately correct (PAC)} prediction sets in the presence of covariate shift. Our approach focuses on the setting where there is a covariate shift from the source distribution (where we have labeled training examples) to the target distribution (for which we want to quantify uncertainty). Our algorithm assumes given importance weights that encode how the probabilities of the training examples change under the covariate shift. In practice, importance weights typically need to be estimated; thus, we extend our algorithm to the setting where we are given confidence intervals for the importance weights. We demonstrate the effectiveness of our approach on covariate shifts based on DomainNet and ImageNet. Our algorithm satisfies the PAC constraint, and gives prediction sets with the smallest average normalized size among approaches that always satisfy the PAC constraint.

研究の動機と目的

• 訓練データ分布とテストデータ分布が異なる covariate shift の下で、従来の不確実性評価手法が失敗することを解決すること。
• 入力分布がシフトしても条件付きラベル分布が変わらない状況において、おそらく近似的に正しい（PAC）予測集合を維持する手法を開発すること。
• 重要度重みの不確実性を信頼区間を組み込むことで扱い、推定誤差に対してロバストな手法を構築すること。
• 常に PAC 制約を満たす手法の中で、平均正規化予測集合サイズが最小となること。

提案手法

• 訓練例の尤度がソースドメインからターゲットドメインにかけてどのように変化するかを、重要度重みを用いてモデル化する。
• 重要度重みが既知である場合に、リジェクションサンプリングを用いて PAC 予測集合を構築する。
• 重要度重みの信頼区間を扱えるように拡張し、推定誤差に対してロバストであることを保証する。
• 分布シフト下でも有効なカバレッジを維持するために、補正用の検証セットを用いたインダクティブなコピリティック予測を適用する。
• PAC カバレッジを維持しながら集合サイズを最適化するため、集合サイズを制御する閾値 τ をチューニングする。
• 2段階プロセスを採用する：まずソースデータでモデルを学習し、その後、重み付き重要度サンプリングを用いて保持された検証セットで予測集合を補正する。

実験結果

リサーチクエスチョン

• RQ1 入力分布が変化する covariate shift の下でも、PAC 予測集合を信頼性高く維持できるか？
• RQ2 重要度重みの不確実性を予測集合構築に組み込むにはどうすればよいか？ これによりロバスト性が確保されるか？
• RQ3 covariate shift の下で、予測集合サイズとカバレッジ誤差のトレードオフはどのようなものか？
• RQ4 多様なドメインシフトにおいて、提案手法は従来手法と比べて予測集合のサイズと有効性の点でどのように優れているか？

主な発見

• PS-W は DomainNet および ImageNet における 9 つの covariate shift 全てで PAC 制約を満たすが、従来手法の PS や WSCI は誤差境界を満たさない。
• PAC 制約を常に満たす手法の中で、PS-W は平均正規化予測集合サイズが最小である。
• レートシフト（例：昼間から夜間）では、従来手法が失敗する状況でも PS-W は有効な予測集合を構築する。
• サプポートシフト（例：ImageNet から ImageNet-C や ImageNet-PGD に）では、PS-W は最小の集合サイズでカバレッジを維持し、PS や WSCI を上回る性能を示す。
• 図 9～11 の可視化により、特に困難なシフトにおいて、PS-W が真のラベルをより信頼性高く含むことが確認された。
• 重要度重みの推定誤差に対しても、PS-W は信頼区間の不確実性を考慮することでロバストであることが実証された。