[論文レビュー] Minimal-Entropy Correlation Alignment for Unsupervised Deep Domain Adaptation

Pietro Morerio, Jacopo Cavazza+1 more|arXiv (Cornell University)|Nov 28, 2017

Domain Adaptation and Few-Shot Learning被引用数 84

ひとこと要約

MECA は共分散（2次）整合性を SPD 多様体上のエントロピー最小化と結びつけ、測地距離とエントロピーベースの教師なしハイパーパラメータ選択を用いて教師なし深層ドメイン適応を改善します。

ABSTRACT

In this work, we face the problem of unsupervised domain adaptation with a novel deep learning approach which leverages on our finding that entropy minimization is induced by the optimal alignment of second order statistics between source and target domains. We formally demonstrate this hypothesis and, aiming at achieving an optimal alignment in practical cases, we adopt a more principled strategy which, differently from the current Euclidean approaches, deploys alignment along geodesics. Our pipeline can be implemented by adding to the standard classification loss (on the labeled source domain), a source-to-target regularizer that is weighted in an unsupervised and data-driven fashion. We provide extensive experiments to assess the superiority of our framework on standard domain and modality adaptation benchmarks.

研究の動機と目的

• ターゲットラベルが利用できない場合の教師なしドメイン適応を動機づける。
• 最適な相関整合性がソースのクロスエントロピーとターゲットのエントロピーを最小化することを示す。
• 共分散整合のためのユークリッド距離ではなく、SPD多様体上の幾何学的距離を提案する。
• ターゲットラベルなしで正則化強度を選択するエントロピー駆動の基準を導入する。
• 標準的なドメイン適応ベンチマークで最先端の性能を示す。

提案手法

• 相関整合を、SPD多様体上の共分散行列を介して二次統計量を揃える問題として定式化する。
• 整合損失としてソースとターゲットの共分散の平方対数ユークリッド幾何距離を用いる。
• MECA 目的関数に、監督付きソースのクロスエントロピーと幾何学的整合損失を統合する。
• ターゲットラベルなしで正則化ウェイトを選択するエントロピーに基づくデータ駆動手法を提案する。
• 最適な相関整合性がターゲットエントロピーの最小化を意味することを示す理論的関連（定理1）を証明する。
• 標準的な深層ネットに対してバックプロパゲーションと互換的な勾配ベースの訓練を提供する。

実験結果

リサーチクエスチョン

• RQ1 最適な共分散整合は、教師なしドメイン適応においてターゲットドメインのエントロピーを暗黙的に最小化するのか？
• RQ2 幾何学的 SPD 距離は、共分散整合のためのユークリッドペナルティよりも整合とターゲットを改善するのか？
• RQ3 エントロピーベースの基準はターゲットラベルなしでハイパーパラメータを効果的に選択できるのか？
• RQ4 MECA は標準的なベンチマーク上で最先端の教師なしドメイン適応手法と比較してどのように性能を発揮するのか？

主な発見

• 最適な相関整合は、ソースのクロスエントロピーの総和とターゲットエントロピーを最小化する（定理1）。
• 幾何学的（対数ユークリッド）SPD 距離は、共分散整合におけるユークリッドペナルティより実践的に優れている。
• ターゲットのエントロピーを用いて、ターゲットラベルなしで正則化重みを駆動できる、教師なしの基準を介して。
• MECA は標準的なベンチマークで DSN、DTN、GRL、ADDA、TRIPLE、Deep CORAL と比較して競争力がある、または優れた成果を示す。
• MECA は SVHN→MNIST および NYUD で Deep CORAL に対して顕著な改善をもたらし、 SYN→SVHN では強力な性能を示す。
• 報告されたタスク全体で、MECA（E + C）はエントロピー関連および整合のベースラインのいくつかよりも優れている。