[論文レビュー] Transferable Calibration with Lower Bias and Variance in Domain Adaptation

Ximei Wang, Mingsheng Long+2 more|arXiv (Cornell University)|Jul 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 66被引用数 19

ひとこと要約

本稿では、ターゲットラベルが不要なドメイン適応におけるハイパーパrameterフリーな事後補正手法である転送可能補正（TransCal）を提案する。この手法は、予測不確実性推定におけるバイアスと分散を低減する。学習可能メタパラメータと逐次的制御変数を活用することで、複数のドメイン適応ベンチマークで最先端の補正性能を達成し、安全性が求められる応用分野における信頼性を顕著に向上させる。

ABSTRACT

Domain Adaptation (DA) enables transferring a learning machine from a labeled source domain to an unlabeled target one. While remarkable advances have been made, most of the existing DA methods focus on improving the target accuracy at inference. How to estimate the predictive uncertainty of DA models is vital for decision-making in safety-critical scenarios but remains the boundary to explore. In this paper, we delve into the open problem of Calibration in DA, which is extremely challenging due to the coexistence of domain shift and the lack of target labels. We first reveal the dilemma that DA models learn higher accuracy at the expense of well-calibrated probabilities. Driven by this finding, we propose Transferable Calibration (TransCal) to achieve more accurate calibration with lower bias and variance in a unified hyperparameter-free optimization framework. As a general post-hoc calibration method, TransCal can be easily applied to recalibrate existing DA methods. Its efficacy has been justified both theoretically and empirically.

研究の動機と目的

• 教師なしドメイン適応におけるモデル補正の未解決問題に取り組む。既存手法はドメインシフトとターゲットラベルの欠如のため失敗する。
• ドメイン適応モデルにおける精度と補正のトレードオフを明らかにする。高い精度はしばしば劣悪な補正を伴うことを示す。
• ドメイン適応における正確で低バイアス・低分散の補正を実現する統合的・ハイパーパrameterフリーな最適化フレームワークを開発する。
• アーキテクチャの変更やターゲットラベルへの依存なしに、既存のドメイン適応モデルに対する事後補正を可能にする。

提案手法

• TransCalは、補正誤差を最小化するために、温度スケーリングパラメータと学習可能メタパラメータλを同時に学習する統合的最適化フレームワークを導入する。
• 補正誤差推定の分散を低減するために、逐次的制御変数技術を採用し、最適化の安定性を向上させる。
• ソースおよびターゲットの特徴から導かれる重要度重みを用いて、ターゲットドメインの真のラベルが存在しない状況でも補正誤差を推定する。
• 補正目的関数におけるソースおよびターゲットドメインのサンプルの寄与度をバランスさせるためにメタパラメータλを導入し、バイアスを適応的に低減する。
• ハイパーパラメータフリーであるため、温度やλの手動チューニングは不要。両者ともエンド・トゥ・エンドで最適化される。
• TransCalは任意の事前学習済みドメイン適応モデルと互換性があり、事後補正ステップとして適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応は、精度が向上する一方で、モデルの補正性能を必然的に損なうものか？
• RQ2 ターゲットラベルが入手不可な状況下でも、低バイアス・低分散の補正を達成できるか？
• RQ3 統合的・ハイパーパラメータフリーな最適化フレームワークは、ドメイン適応における補正に実現可能かつ有効であるか？
• RQ4 制御変数の選択（逐次的 vs. 並列的）が、補正の分散と性能にどのように影響するか？
• RQ5 TransCalは、Temp Scaling や Matrix Scaling といった既存の補正ベースラインを、ドメイン適応設定において上回ることができるか？

主な発見

• すべての評価タスクにおいて、TransCalは予想補正誤差（ECE）を最低水準に抑える。特に、逐次的制御変数バージョンを用いたOffice-Homeデータセットでは、平均ECEが13.5%であった。
• Office-Homeデータセットにおいて、TransCalは逐次的制御変数を用いることで、ベースラインの20.9%から13.5%へECEを低下させ、顕著な改善を示した。
• 逐次的制御変数法により、補正誤差推定の分散が低減され、最適化がより安定し、一般化性能が向上した。
• 各ドメインシフトに対して最適なλを学習することで、最大重要度重み（M）が効果的に低減され、バイアスが相殺された。
• Temp Scaling や Matrix Scaling といったすべてのベースラインを上回る性能を示した。特にMatrix Scalingは過学習を起こし、性能が劣化した。
• 実験的結果から、深層ネットワークを用いて学習されたDAモデルは、SourceOnlyモデルに比べて高い精度を達成するが、補正性能は劣ることが判明し、精度と補正のトレードオフを裏付けた。