[論文レビュー] Dirichlet-based Uncertainty Calibration for Active Domain Adaptation

Mixue Xie, Shuang Li+2 more|arXiv (Cornell University)|Feb 27, 2023

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

この論文は、アクティブドメイン適応のためのDirichletベースのエビデンシャルモデルであるDU Cを導入し、分布シフト下で予測不確実性を較正し、ラベリングのためのターゲットサンプル選択を2回のラウンドでガイドします。クロスドメインの画像分類とセマンティックセグメンテーションのベンチマークで性能向上を示します。

ABSTRACT

Active domain adaptation (DA) aims to maximally boost the model adaptation on a new target domain by actively selecting limited target data to annotate, whereas traditional active learning methods may be less effective since they do not consider the domain shift issue. Despite active DA methods address this by further proposing targetness to measure the representativeness of target domain characteristics, their predictive uncertainty is usually based on the prediction of deterministic models, which can easily be miscalibrated on data with distribution shift. Considering this, we propose a extit{Dirichlet-based Uncertainty Calibration} (DUC) approach for active DA, which simultaneously achieves the mitigation of miscalibration and the selection of informative target samples. Specifically, we place a Dirichlet prior on the prediction and interpret the prediction as a distribution on the probability simplex, rather than a point estimate like deterministic models. This manner enables us to consider all possible predictions, mitigating the miscalibration of unilateral prediction. Then a two-round selection strategy based on different uncertainty origins is designed to select target samples that are both representative of target domain and conducive to discriminability. Extensive experiments on cross-domain image classification and semantic segmentation validate the superiority of DUC.

研究の動機と目的

• アクティブドメイン適応（DA）におけるドメインシフト下で予測不確実性の不安定さを喚起する。
• 不確実性を較正し、予測を確率単位空間上の分布として解釈するDirichletベースのエビデンシャルフレームワークを開発する。
• ターゲットの代表性と識別性のバランスをとる、不確実性の起源を考慮した2回のラウンドターゲットサンプル選択を設計する。
• ラベル付きデータに対して正しいエビデンスを促進し、ラベルなしターゲットデータの不確実性を低減する損失項でモデルを訓練する。
• cross-domain image classificationおよびsemantic segmentationタスクでDUCの有効性を実証する。

提案手法

• クラス確率にDirichlet事前分布を置き、予測を確率単体上の分布とする（Dirichletベースのエビデンシャル学習）。
• Dirichletパラメータから分布的不確実性 U_dis とデータ不確実性 U_data を定義し、証拠不足とデータの識別性を分離する。
• 2回のラウンドのサンプル選択を用いる：まず最高の U_dis を持つ κb ターゲットを選択し、その後1回目の候補の中から最高の U_data を持つ b サンプルを選ぶ。
• L_total = L_edl + L_un で訓練する。L_nll および L_KL がラベル付きデータと targetiness を監督し、L_un は ラベルなしターゲット上の U_dis と U_data を最小化する（β, λ のバランス）。
• 推論は期待値（Dirichlet期待）を最終予測として用いる。

実験結果

リサーチクエスチョン

• RQ1 ドメインシフト下で不確実性をどのように較正して、アクティブDAを改善できるか？
• RQ2 Dirichletベースのエビデンシャル表現は、アクティブDAにおける情報量の多いターゲットサンプルの選択を改善するか？
• RQ3 異なる不確実性源を活用する2回の選択戦略は、ドメイン識別子やクラスタリングなしでターゲットの代表性と識別性を改善できるか？
• RQ4 Dirichletベースの不確実性較正手法は、クロスドメインの画像分類およびセマンティックセグメンテーションタスクの性能を向上させるか？

主な発見

• DUCはminiDomainNetで5%のターゲットラベリング予算で競合ベースラインを上回り、比較法の中で最高の平均精度を達成。
• DUCはOffice- HomeおよびVisDA-2017のベンチマークでも5%のラベリング予算で高い成果を示し、多くの不確実性ベース・ターゲット性ベースの手法を上回る。
• GTAVからCityscapesへのセマンティックセグメンテーションでは、複数クラスで複数のベースラインと比較して競争力のあるmIoUの改善を示す。
• 全体として、DUCは予測をDirichlet分布として扱うことで、ドメインシフト下の予測不確実性推定を改善し、より情報量の多いサンプル選択とより良い適応を支援する。