[論文レビュー] Correlation Alignment for Unsupervised Domain Adaptation

Baochen Sun, Jiashi Feng+1 more|arXiv (Cornell University)|Dec 6, 2016

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

この論文では、ドメインのズレを低減するために、ソースドメインとターゲットドメインの2次統計（共分散行列）を一致させる、シンプルで効果的な非教師ありドメイン適応手法CORALを提案する。ソースとターゲットの特徴共分散行列間のフロベニウスノルムを最小化することで、ターゲットラベルを必要とせず効率的な特徴変換が可能となり、特に深層ニューラルネットワーク（Deep CORAL）と組み合わせた場合、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

In this chapter, we present CORrelation ALignment (CORAL), a simple yet effective method for unsupervised domain adaptation. CORAL minimizes domain shift by aligning the second-order statistics of source and target distributions, without requiring any target labels. In contrast to subspace manifold methods, it aligns the original feature distributions of the source and target domains, rather than the bases of lower-dimensional subspaces. It is also much simpler than other distribution matching methods. CORAL performs remarkably well in extensive evaluations on standard benchmark datasets. We first describe a solution that applies a linear transformation to source features to align them with target features before classifier training. For linear classifiers, we propose to equivalently apply CORAL to the classifier weights, leading to added efficiency when the number of classifiers is small but the number and dimensionality of target examples are very high. The resulting CORAL Linear Discriminant Analysis (CORAL-LDA) outperforms LDA by a large margin on standard domain adaptation benchmarks. Finally, we extend CORAL to learn a nonlinear transformation that aligns correlations of layer activations in deep neural networks (DNNs). The resulting Deep CORAL approach works seamlessly with DNNs and achieves state-of-the-art performance on standard benchmark datasets. Our code is available at:~\url{https://github.com/VisionLearningGroup/CORAL}

研究の動機と目的

• トレーニングデータとテストデータの分布が異なる視覚的ドメイン適応におけるドメインズレの解消。
• 豊富なラベルなしターゲットデータを活用して、ターゲットアノテーションを必要とせずにモデルの一般化性能を向上させる手法の開発。
• 既存の機械学習パイプラインに簡単に統合可能な、シンプルで効率的かつ効果的なアプローチの提案。
• エンドツーエンドの非教師あり適応を可能にするために、深層ニューラルネットワークに対応する手法の拡張。
• 標準ベンチマークにおいて、既存のドメイン適応手法を上回る優れた性能を示すこと。

提案手法

• ソースドメインとターゲットドメインの共分散行列間のフロベニウスノルムを最小化することで、それらの2次統計を一致させる。
• ターゲット共分散を用いてソース特徴に線形変換を適用する：まずソース特徴をホワイトニングし、その後ターゲット共分散で再カラーリングする。
• 線形分類器の場合、分類器重みに直接CORAL変換を適用することで、ターゲットデータが高次元である場合でも効率的な適応が可能になる。
• CORALと線形判別分析（LDA）を組み合わせた変種CORAL-LDAを導入し、標準LDAを上回る性能を達成する。
• 微分可能でないCORAL損失層（dCORAL）を用いて、中間層の活性化を一致させることで、CORALを深層ネットワークに拡張する。
• 任意の深層ニューラルネットワークアーキテクチャにDeep CORALを統合し、エンドツーエンドの非教師ありドメイン適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 2次統計の一致は、非教師ありドメイン適応においてドメインズレを効果的に低減できるか？
• RQ2 精度と効率の観点から、CORALは既存の部分空間ベースや分布マッチング手法と比べてどのように差をつけるか？
• RQ3 特徴の変換ではなく分類器重みの変換により、CORALは線形分類器に効率的に適用可能か？
• RQ4 提案されたDeep CORAL手法は、エンドツーエンドの深層ドメイン適応において最先端の性能を達成するか？
• RQ5 実画像や仮想データが少量しかない状況でも、CORALはどのように性能を発揮するか？

主な発見

• CORAL-LDAは標準LDAを著しく上回り、DSLRA→Webcamタスクで平均平均適合率（mAP）68.2％を達成した。
• Deep CORALは標準ドメイン適応ベンチマークで最先端の性能を達成し、Office-31およびPASCAL VOCデータセットで先行手法を上回った。
• CORALを用いた半教師あり適応では、DSLRA→Webcamタスクで71.4％のmAPを達成し、ICRA14の手法（42.9％）を上回った。
• カテゴリあたり30枚の仮想画像と1,000枚の背景画像しか利用できない状況でも、CORALは1,000〜2,000枚の実ImageNet画像で学習した手法と同等またはそれ以上の性能を発揮した。
• ドメインズレに対して頑健であり、Virtual-GrayデータがVirtualデータを上回り、ドメイン類似度の高さからDSLRが最も優れた性能を示した。
• 非教師ありCORAL手法はDSLRA→Webcamで67.1％のmAPを達成し、ICRA14のベースライン半教師あり手法（42.9％）を著しく上回った。