[論文レビュー] Exploring Invariances in Deep Convolutional Neural Networks Using Synthetic Images.

Xingchao Peng, Baochen Sun+2 more|arXiv (Cornell University)|Dec 22, 2014

Domain Adaptation and Few-Shot Learning被引用数 45

ひとこと要約

本稿は、合成3D CAD画像で訓練された深層畳み込みニューラルネットワーク（DCNN）における不変性を調査し、形状、アングル、写実的表現の変化に対してDCNNが強い不変性を示すことを実証している。著者らは、実データと合成データを組み合わせた適応的トレーニング手法を提案し、PASCAL VOC2007における少サンプル学習で先行手法を著しく上回り、Officeベンチマークのドメインシフト状況でも実データでの訓練と同等またはそれを上回る性能を達成している。

ABSTRACT

Crowdsourced 3D CAD models are becoming easily accessible online, and can potentially generate an infinite number of training images for almost any object category. We show that adapting contemporary Deep Convolutional Neural Net (DCNN) models to such data can be effective, especially in the few-shot regime where none or only a few annotated real images are available, or where the images are not well matched to the target domain. Little is known about the degree of realism necessary to train models with deep features on CAD data. In a detailed analysis, we use synthetic images to probe DCNN invariance to object-class variations caused by 3D shape, pose, and photorealism, with surprising findings. In particular, we show that DCNNs used as a fixed representation exhibit a large amount of invariance to these factors, but, if allowed to adapt, can still learn effectively from synthetic data. These findings guide us in designing a method for adaptive training of DCNNs using real and synthetic data. We show that our approach significantly outperforms previous methods on the benchmark PASCAL VOC2007 dataset when learning in the fewshot scenario, and outperform training with real data in a domain shift scenario on the Office benchmark.

研究の動機と目的

• 合成データにどれほどリアリズムが必要か、DCNNの効果的なトレーニングにそれがどれほど必要かを理解すること。
• 合成画像における3次元形状、アングル、写実的表現の変化に対するDCNNの不変性特性を調査すること。
• 特にリソースが限られた状況やドメインシフト環境において、実データと合成データの両方を効果的に活用できるDCNNの適応手法を開発すること。
• 合成データを主なトレーニングソースとして用いることで、少サンプル学習性能とドメイン一般化性能を向上させること。

提案手法

• 著者らは、クラウドソーシングで得た3D CADモデルを用いて合成画像を生成し、物体の形状、アングル、写実的表現を変化させることで、DCNNの不変性を調査した。
• 固定特徴のDCNN表現を合成データ上で評価し、形状、アングル、リアリズム要因における不変性を測定した。
• 事前学習済みDCNNを合成データ上で微調整する適応的トレーニング戦略を設計し、その後限られた実データを用いてさらに適応させた。
• この手法は、広いドメインカバレッジを提供する合成データと、ドメイン固有の適応を可能にする実データを組み合わせており、特に少サンプルおよびドメインシフト環境で顕著な効果を示した。
• DCNNの合成変化に対する不変性を活用することで、高いリアリズムを必要とせずに効果的な転移学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 合成画像で訓練されたDCNN特徴は、3次元形状、アングル、写実的表現の変化に対してどの程度不変性を示すか？
• RQ2 合成データが写実的詳細を欠いていても、DCNNはそれを効果的に学習できるか？
• RQ3 合成データ上で適応的微調整を行い、その後限られた実データを用いてさらに適応させることで、少サンプル学習性能がどのように向上するか？
• RQ4 ドメインシフト状況において、合成データと実データを組み合わせたトレーニングが、実データのみでトレーニングするのを上回るか？

主な発見

• 合成データ、特に高リアリズムを要しない状況でも、DCNNは3次元形状、アングル、写実的表現の変化に対して強い不変性を示す。
• 合成データ上でDCNNを適応的微調整することで、特に限られた実データを用いた少サンプル状況でも効果的な学習が可能になる。
• 提案手法は、少サンプル学習条件下でPASCAL VOC2007ベンチマークにおいて最先端の性能を達成した。
• Officeベンチマークのドメインシフト状況では、実データのみでトレーニングする手法を上回り、優れたドメイン一般化性能を示した。