[論文レビュー] Deep Domain Adaptation by Geodesic Distance Minimization

Yifei Wang, Wen Li+2 more|arXiv (Cornell University)|Jul 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 5

ひとこと要約

本稿では、共分散行列のリーマン多様体上での対数-ユリッド測度距離を、Deep CORALにおけるユークリッド距離に置き換えることで、未学習ドメイン適合手法であるDeep LogCORALを提案する。同時に、平均ベクトルの差を最小化することで、第一および第二の統計的情報の両方を活用し、ドメイン整合性を向上させている。この手法により、OfficeベンチマークでDeep CORALより平均的に0.39%の精度向上を達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we propose a new approach called Deep LogCORAL for unsupervised visual domain adaptation. Our work builds on the recently proposed Deep CORAL method, which proposed to train a convolutional neural network and simultaneously minimize the Euclidean distance of convariance matrices between the source and target domains. We propose to use the Riemannian distance, approximated by Log-Euclidean distance, to replace the naive Euclidean distance in Deep CORAL. We also consider first-order information, and minimize the distance of mean vectors between two domains. We build an end-to-end model, in which we minimize both the classification loss, and the domain difference based on the first and second order information between two domains. Our experiments on the benchmark Office dataset demonstrate the improvements of our newly proposed Deep LogCORAL approach over the Deep CORAL method, as well as further improvement when optimizing both orders of information.

研究の動機と目的

• ソースとターゲットのデータ分布が異なる、未学習視覚ドメイン適合におけるドメインシフト問題に対処すること。
• 共分散行列間のユークリッド距離を、より適切なリーマン多様体上の測地線距離に置き換えることで、Deep CORALを改善すること。
• 第二の統計的情報（共分散行列）に加え、第一の統計的情報（平均ベクトル）を統合することで、より強固なドメイン整合性を実現すること。
• 第一および第二の統計的差異を同時に最小化することで、モデルの一般化性能が向上することを示すこと。

提案手法

• Deep CORALにおけるソースおよびターゲットの共分散行列間のユークリッド距離を、正定値行列のリーマン多様体上での対数-ユリッド距離に置き換える。これは、測地線距離の近似を提供する。
• 共分散行列間の対数-ユリッド距離に基づく新しいLogCORAL損失関数を導入し、特徴空間におけるドメイン差を最小化する。
• 最大平均差分（MMD）のインスピレーションを受けて、ソースおよびターゲットドメインの平均ベクトル間の差を最小化するための平均距離損失を追加する。
• 分類損失、LogCORAL損失、および平均損失を同時に最適化するエンドツーエンドの深層ニューラルネットワークを構築する。
• 第二の統計的情報の内在構造をよりよくモデル化するため、共分散行列のリーマン幾何学を活用する。
• 共分散行列間の測地線距離を効率的に計算するため、対数-ユリッドフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 共分散行列のリーマン多様体上での測地線距離に、ユークリッド距離を置き換えることで、ドメイン適合性能が向上するか？
• RQ2 第二の統計的情報（共分散行列）に加えて、第一の統計的情報（平均ベクトル）を統合することは、ドメイン適合において有益か？
• RQ3 トレーニング中に、対数-ユリッド距離損失と平均距離損失はどのように相関するか？また、両者の共同最適化はより良い結果をもたらすか？
• RQ4 提案手法は、Officeのような標準ベンチマークデータセットで、既存の最先端手法を上回ることができるか？

主な発見

• 提案されたDeep LogCORAL手法は、Officeデータセットにおいて、元のDeep CORAL手法よりも平均的に0.39%の精度向上を達成した。
• LogCORAL損失を単独で最小化するだけで、ベースラインのCNNよりも性能が向上し、リーマン多様体上での測地線距離の使用が有効であることを示した。
• 平均損失を単独で最小化するだけでも精度が向上し、第一の統計的情報がドメイン整合性に有用であることを示した。
• LogCORAL損失と平均損失の両方を共同で最適化すると、最も優れた性能が得られ、両損失が補完的であり、弱い相関関係にあることを確認した。
• トレーニング曲線の可視化から、一方の損失を最適化しても他方の損失が低下しないことが確認され、両者の独立性が裏付けられ、共同最適化の正当性が示された。
• 学習曲線の結果から、本手法は収束が早く、より優れた一般化性能を達成していることが明らかになった。特に、A-Wドメインシフトにおいて顕著であった。