[論文レビュー] Synthetic to Real Adaptation with Generative Correlation Alignment Networks

Xingchao Peng, Kate Saenko|arXiv (Cornell University)|Jan 19, 2017

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 14

ひとこと要約

本稿では、CAD-合成データのオブジェクト形状と実画像の自然なテクスチャを組み合わせることで、写真のような訓練画像を合成する Deep Generative Correlation Alignment Networks (DGCAN) を提案する。コンテンツ保持と CORAL を用いた相関アライメントを、深層特徴空間で活用することでドメインシフトを低減し、生成されたデータで訓練された分類器が Office データセットの挑戦的な Amazon ドメインで 49.91% の精度を達成する。これは、合成データで直接訓練した場合に比べ顕著に優れた性能を示す。

ABSTRACT

Synthetic images rendered from 3D CAD models are useful for augmenting training data for object recognition algorithms. However, the generated images are non-photorealistic and do not match real image statistics. This leads to a large domain discrepancy, causing models trained on synthetic data to perform poorly on real domains. Recent work has shown the great potential of deep convolutional neural networks to generate realistic images, but has not utilized generative models to address synthetic-to-real domain adaptation. In this work, we propose a Deep Generative Correlation Alignment Network (DGCAN) to synthesize images using a novel domain adaption algorithm. DGCAN leverages a shape preserving loss and a low level statistic matching loss to minimize the domain discrepancy between synthetic and real images in deep feature space. Experimentally, we show training off-the-shelf classifiers on the newly generated data can significantly boost performance when testing on the real image domains (PASCAL VOC 2007 benchmark and Office dataset), improving upon several existing methods.

研究の動機と目的

• 深層学習における非写真的 CAD-合成画像と現実世界の画像の間の大きなドメインギャップに対処すること。
• よりリアルな訓練サンプルを生成することで、合成データで訓練されたオブジェクト認識モデルの一般化性能を向上させること。
• ペアデータを必要とせず、オブジェクト形状を保持しながら実画像の統計に適応する生成モデルを開発すること。
• 生成による特徴アライメントを用いた合成から現実へのドメイン適応が、既存の教師なしドメイン適応手法を上回ることを実証すること。

提案手法

• DGCAN は、VGG-16 をベースにしたジェネレータを用い、CAD-合成画像のオブジェクトの輪郭と実画像の背景テクスチャを組み合わせて画像を合成する。
• オブジェクト形状の忠実度を維持するために、初期の畳み込み層（例：conv3_2）で ℓ² 特徴損失を適用する。
• 合成画像と実画像の特徴間の2次統計をアライメントするために、複数の初期畳み込み層（例：conv1_1 から conv5_1）に CORAL 損失を適用する。
• ドメイン差違を深層特徴空間で最小化するために、コンテンツ損失とドメインアライメント損失の両方を用いて、エンド・ツー・エンドでネットワークを訓練する。
• 生成された画像を用いて市販の分類器を訓練し、その後実画像のテストセットで評価する。
• PASCAL VOC 2007 および Office データセットで評価を行い、損失層の構成に関するアブレーションスタディも実施した。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、深層特徴空間において合成画像と現実画像の間のドメインシフトを効果的に低減できるか？
• RQ2 形状保持と相関アライメントを組み合わせることで、現実世界のベンチマークにおける一般化性能が向上するか？
• RQ3 コンテンツ損失と CORAL 損失の適用層の選択が、生成画像の品質および下流分類精度に与える影響は何か？
• RQ4 DGCAN で生成されたデータは、合成データで直接訓練した場合や、既存の教師なしドメイン適応手法を上回る性能を発揮できるか？

主な発見

• DGCAN で生成された画像は、深層特徴空間において合成画像と実画像の2次統計をアライメントすることで、ドメイン差違を顕著に低減する。
• DGCAN は Office データセットの Amazon ドメインで 49.91% のトップ-1 精度を達成し、これは CAD-合成データで直接訓練した場合の 44.69% よりも顕著に優れている。
• DGCAN は DAN など複数の最先端の教師なしドメイン適応手法を上回り、Webcam ドメインで訓練されたモデルでさえも上回る。
• 伝達的適応（例：DAN）と組み合わせることで、DGCAN で生成されたデータはさらに性能を向上させ、Amazon ドメインで 51.93% の精度を達成する。
• 定性的な結果から、DGCAN はオブジェクトの形状と自然なテクスチャを効果的に融合しており、不自然なコントラストを低減し、リアリズムを向上させている。
• デスクランプに玩具の自転車を誤ってバイクと分類するような失敗事例は、複雑または曖昧なシーンの処理における限界を示している。