[論文レビュー] Unsupervised Domain Adaptation via Calibrating Uncertainties

Ligong Han, Yang Zou+3 more|arXiv (Cornell University)|Jul 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 12

ひとこと要約

本稿では、Rényiエントロピー正則化（RER）と勾配分散正則化（GVR）を用いて、ソースドメインとターゲットドメイン間の予測不確実性をキャリブレーションする、新しい教師なしドメイン適応フレームワークを提案する。ベイジアンニューラルネットワークを活用して信頼性の高い不確実性推定を実現し、ドメイン間での不確実性分布を整合させる。この手法により、数字分類およびVisDA17ベンチマークで最先端の性能を達成し、SVHN→MNISTでは最大25.4%、VisDA17では最大34.56%の向上を達成した。

ABSTRACT

Unsupervised domain adaptation (UDA) aims at inferring class labels for unlabeled target domain given a related labeled source dataset. Intuitively, a model trained on source domain normally produces higher uncertainties for unseen data. In this work, we build on this assumption and propose to adapt from source to target domain via calibrating their predictive uncertainties. The uncertainty is quantified as the Renyi entropy, from which we propose a general Renyi entropy regularization (RER) framework. We further employ variational Bayes learning for reliable uncertainty estimation. In addition, calibrating the sample variance of network parameters serves as a plug-in regularizer for training. We discuss the theoretical properties of the proposed method and demonstrate its effectiveness on three domain-adaptation tasks.

研究の動機と目的

• 教師なしドメイン適応（UDA）において、誤った予測に対して高い信頼度を割り当てる深層ニューラルネットワークの不安定さと過信を是正すること。
• 自己学習における疑似ラベルの信頼性を向上させるために、ターゲットドメインデータに対する正確で定量的な不確実性推定を可能にすること。
• ソースドメインとターゲットドメイン間の不確実性分布を整合させる一般化可能でモデルに依存しない正則化フレームワークを開発すること。
• 不確実性推定のためのベイジアンおよび頻度主義的手法（それぞれ変分推論と勾配分散正則化（GVR）を用いて）を併用し、より高いロバストネスを実現すること。

提案手法

• 出力確率分布のRényiエントロピーを用いて予測不確実性を定量化し、αをパラメータとする一般化されたシャノンエントロピーおよび最小エントロピーの一般化として用いる。
• 再パラメータライゼーションとモンテカルロサンプリングを用いた変分ベイジアンニューラルネットワーク（BNNs）を採用し、エピステミック不確実性とアレアトロピック不確実性を同時に推定する。
• 訓練中にネットワークパラメータのサンプル分散を制御する、プラグイン型の正則化としての勾配分散正則化（GVR）を導入し、モデルの不確実性を反映する。
• 訓練中にソースドメインとターゲットドメイン間の不確実性乖離を最小化するRényiエントロピー正則化（RER）フレームワークを提案する。
• 2ヘッドネットワークアーキテクチャを用いる：1つのヘッドはログティスを、もう1つのヘッドはログティスの分散（log-variance）を出力する。これにより不確実性を考慮した学習が可能になる。
• ソースとターゲットの予測におけるRényiエントロピー分布の乖離を最小化することで不確実性をキャリブレーションし、不確実性の一貫性を通じてドメイン整合を促進する。

実験結果

リサーチクエスチョン

• RQ1 Rényiエントロピーに基づく不確実性キャリブレーションは、標準的なエントロピー最小化と比較して、教師なしドメイン適応の性能を向上させるか？
• RQ2 ベイジアンニューラルネットワークを組み込むことで、分布シフト下でも不確実性推定の信頼性が顕著に向上するか？
• RQ3 ネットワークパラメータの勾配分散は、モデルに依存しない方法で不確実性キャリブレーションの有効な正則化として機能するか？
• RQ4 不確実性キャリブレーションは、自己学習に基づくUDAにおける疑似ラベルの安定性と精度にどのように影響するか？
• RQ5 不確実性キャリブレーションは、未観測のターゲットドメインデータに対する過信をどれほど軽減し、一般化性能を向上させるか？

主な発見

• MNIST→USPSでは、提案手法のBRER-∞がGVRを用いて94.53%の精度を達成し、ベースラインのDTNモデル比で9.64%の向上を示した。
• SVHN→MNISTでは、BRER-∞にGVRを適用した結果、96.38%の精度を達成し、ソースオンリーベースライン比で25.40%の改善を達成した。
• VisDA17では、BRER-∞が平均80.59%の精度を達成し、非ベイジアンのResNet101ベースライン比で34.56%の向上を示した。
• α=∞（最小エントロピー）のRényiエントロピー正則化は、すべてのベンチマークでα=1（シャノンエントロピー）よりも安定性と精度の両面で優れた結果を示した。
• GVRの追加は、RER-∞およびBRER-∞設定では性能向上をもたらしたが、RER-1設定では効果がなかったことから、GVRの有効性が不確実性推定手法に依存していることが示された。
• ベイジアンモデル（BDTN、BRes101）は非ベイジアン対応モデル（DTN、ResNet101）を上回ったことから、適切な不確実性推定の恩恵が確認された。