[論文レビュー] Deeper, Broader and Artier Domain Generalization

Da Li, Yongxin Yang+2 more|arXiv (Cornell University)|Oct 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 4

ひとこと要約

本論文は、写真、アート絵画、コマics、スケッチのドメインをカバーする、より困難な新しいベンチマークデータセットPACS上で、先行手法を上回る性能を示す低ランクパラメータ化CNNを提案する。この手法は2ホットエンコーディングされたドメイン記述子と低ランク因子分解を用い、ドメイン間での知識共有を促進するとともに過学習を軽減し、PACSベンチマークで69.21%の平均精度を達成し、最先端の性能を実現した。

ABSTRACT

The problem of domain generalization is to learn from multiple training domains, and extract a domain-agnostic model that can then be applied to an unseen domain. Domain generalization (DG) has a clear motivation in contexts where there are target domains with distinct characteristics, yet sparse data for training. For example recognition in sketch images, which are distinctly more abstract and rarer than photos. Nevertheless, DG methods have primarily been evaluated on photo-only benchmarks focusing on alleviating the dataset bias where both problems of domain distinctiveness and data sparsity can be minimal. We argue that these benchmarks are overly straightforward, and show that simple deep learning baselines perform surprisingly well on them. In this paper, we make two main contributions: Firstly, we build upon the favorable domain shift-robust properties of deep learning methods, and develop a low-rank parameterized CNN model for end-to-end DG learning. Secondly, we develop a DG benchmark dataset covering photo, sketch, cartoon and painting domains. This is both more practically relevant, and harder (bigger domain shift) than existing benchmarks. The results show that our method outperforms existing DG alternatives, and our dataset provides a more significant DG challenge to drive future research.

研究の動機と目的

• 既存のドメイン一般化（DG）ベンチマークの限界を解決すること。これらのベンチマークは単純すぎる上に、ドメインシフトが最小限の写真のみを対象としている。
• 実世界の状況を反映する、より実用的で挑戦的なDGベンチマークを構築すること。具体的には、データが乏しく、写真とは視覚的に著しく異なるターゲットドメイン（例：スケッチ、絵画）を含むものである。
• 低ランクパラメータ化された重み生成を用いて、エンドツーエンドの学習によりドメインに依存しない特徴量と分類器を学習する、新たな深層学習手法を提案すること。
• より現実的で高いドメインシフトを伴うベンチマークで評価した場合、単純な深層学習ベースラインが、目的に特化したDG手法を上回ることを示すこと。

提案手法

• モデルパラメータ数を削減し、層間における柔軟で学習可能なドメイン共有を可能にする、低ランクパラメータ化された畳み込みニューラルネットワーク（CNN）を提案する。
• テンソルベースの重み生成ネットワークを用いて、ドメイン記述子の2ホットエンコーディングにより、共有され、ドメインに依存しない分類器重みを生成する。
• 重み生成ネットワークのパラメータに低ランク分解を適用し、ドメイン間での知識共有の度合いを動的かつ層ごとに制御可能にする。
• チューニング済みモデルに対してTucker分解を実行し、学習された層ごとの共有強度を分析。その結果、初期の畳み込み層（Conv1–Conv3）は高い共有度を示す一方、後続の全結合層（FC6–FC8）は低い共有度を示すことがわかった。
• 写真、絵画、コマics、スケッチの複数のソースドメインを用いてエンドツーエンド学習を実施し、特徴抽出とドメインに依存しない分類の最適化を同時に実現する。
• 各構成要素の貢献度を評価するための新規なアブレーションフレームワークを導入する：ドメイン記述子エンコーディング、低ランク因子分解、多層への適用。

実験結果

リサーチクエスチョン

• RQ1 より現実的で挑戦的なベンチマークで評価した場合、単純なエンドツーエンドの深層学習ベースラインが、目的に特化したドメイン一般化手法を上回ることができるか？
• RQ2 PACSという新しいベンチマークにおけるドメインシフトの度合いは、従来の写真のみのベンチマークと比較して、難易度および実用的関連性の面でどのように異なるか？
• RQ3 低ランクパラメータ化と2ホットエンコーディングされたドメイン記述子は、多様な視覚的ドメインにわたる一般化性能をどの程度向上させるか？
• RQ4 ドメイン一般化設定下で、CNNの異なる層における学習された共有強度はどのように変化するか？
• RQ5 多層での低ランク重み生成と単一層のファインチューニングのどちらが、ドメイン一般化においてより寄与するか？

主な発見

• 提案手法であるOurs-Fullは、PACSベンチマークで69.21%の平均精度を達成し、uDICA や D-MTAE-1HNN を含むすべての先行DG手法を上回った。
• アブレーションスタディの結果、2ホットエンコーディング、低ランク分解、多層適用という各構成要素が段階的に性能向上に寄与しており、Ours-Fullは2HE+Decomp-Lastを平均5.11%上回った。
• モデルは柔軟で層ごとの共有強度を学習する：初期の畳み込み層（Conv1–Conv3）は高い共有度を示し、後続の全結合層（FC6–FC8）は低い共有度を示す。中間層の共有度は、未学習ドメインに応じて変動する。
• スケッチが未学習ドメインの場合、モデルは写真、絵画、コマicsドメイン間で高い共有度を学習し、これらがスケッチと視覚的に類似していることを反映している。
• Tucker分解の結果、モデルは自動的にスケッチが最も類似度が低いドメインであると学習しており、訓練ドメインに含まれない場合の共有強度が低くなることが明らかになった。
• Deep-ALL や SVM といった強力なベースラインを上回ったことから、明示的なDGインダクティブバイアスを備えたエンドツーエンドの深層学習が、浅いまたは手作業で設計されたアプローチよりも効果的であることが示された。