[論文レビュー] Return of Frustratingly Easy Domain Adaptation

Baochen Sun, Jiashi Feng+1 more|arXiv (Cornell University)|Nov 17, 2015

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 108

ひとこと要約

この論文では、ソースドメインのホワイト化された特徴をターゲットドメインの共分散行列を用いて再色調することで、ソースおよびターゲットドメインの2次統計を一致させる、CORALと呼ばれる単純だが非常に効果的な非教師ありドメイン適応手法を提案する。わずか4行のコードで実装可能でありながら、画像認識およびセンチメント分析のベンチマークで最先端の性能を達成しており、特に深層特徴において、再訓練やハイパーパramータチューニングを必要とする複雑な手法を上回っている。

ABSTRACT

Unlike human learning, machine learning often fails to handle changes between training (source) and test (target) input distributions. Such domain shifts, common in practical scenarios, severely damage the performance of conventional machine learning methods. Supervised domain adaptation methods have been proposed for the case when the target data have labels, including some that perform very well despite being "frustratingly easy" to implement. However, in practice, the target domain is often unlabeled, requiring unsupervised adaptation. We propose a simple, effective, and efficient method for unsupervised domain adaptation called CORrelation ALignment (CORAL). CORAL minimizes domain shift by aligning the second-order statistics of source and target distributions, without requiring any target labels. Even though it is extraordinarily simple--it can be implemented in four lines of Matlab code--CORAL performs remarkably well in extensive evaluations on standard benchmark datasets.

研究の動機と目的

• トレーニング（ソース）とテスト（ターゲット）のデータ分布が異なるドメインシフトの問題に対処すること。これは機械学習のモデル性能を低下させる一般的な問題である。
• 実世界の応用ではしばしば入手不可能なターゲットラベルを必要としない非教師ありドメイン適応手法を開発すること。
• 実装が簡単でありながらも、特に深層ニューラルネットワーク特徴に適用した場合に高い有効性を示す手法を構築すること。
• ドメイン間で2次統計（共分散）を一致させることで、より複雑な適応技術よりも優れた性能が得られることを示すこと。

提案手法

• CORALは、ソースおよびターゲット特徴分布の共分散行列を一致させることでドメインシフトを低減する。
• まず、ソース特徴をホワイトニングして内部相関を除去し、次にターゲットドメインの共分散行列を用いて再色調する。
• 変換は線形演算として定義され、X_s' = W_T^{-1/2} X_s W_T^{1/2} で表される。ここでW_Tはターゲット共分散行列である。
• この手法は2段階で構成される：ソースおよびターゲット特徴の共分散行列を計算し、ホワイトニングおよび再色調変換を適用する。
• 変換後は、ターゲットラベルが不要な標準的な教師あり学習を適応されたソース特徴に適用する。
• アプローチは計算的に効率的であり、MATLABでわずか4行のコードで実装可能である。

実験結果

リサーチクエスチョン

• RQ1 2次統計に基づく単純で反復的でない手法が、複雑なディープラーニングベースのドメイン適応手法を上回ることができるか？
• RQ2 ターゲットラベルが入手不可である状況でも、共分散一致はドメインシフトをどれほど効果的に低減できるか？
• RQ3 CORALの性能向上は特徴の複雑さに比例するのか、特に深層特徴において顕著に現れるか？
• RQ4 ビジョンおよびNLPタスクにおいて、TCA、GFK、SAといった最先端手法と比較してCORALはどのように性能を発揮するか？

主な発見

• SURF特徴を用いたOffice-Caltech10データセットでは、CORALは64.0%の正確度を達成し、次に良い手法（SA：49.1%）およびラベルなしベースラインを著しく上回った。
• 深層畳み込みニューラルネットワーク特徴（DECAF-fc7）を用いた場合、CORALはOffice-Caltech10で64.0%の正確度を達成し、再訓練を必要とする複雑な適応ネットワークを含む、すべての先行手法を上回った。
• アマゾンレビューにおけるセンチメント分析では、CORALは全ドメインシフト状況で平均正確度が最高であり、TCA や GFK といった最先端手法をも凌駆した。
• 深層特徴においては、浅い特徴よりもCORALと他の手法との性能差が顕著に大きかったため、ディープラーニング環境での利点が顕著に現れた。
• 画像データでは特徴が密で相関が高いため、CORALの向上効果が特に顕著であった。一方、スパースなbag-of-wordsテキスト特徴と比較して、より顕著な改善が得られた。
• 完全なトレーニングデータを用いても、CORALは強固な性能を維持しており、データセットサイズに依存せず、一般化能力に優れていることが示された。