[論文レビュー] Learning Deep Object Detectors from 3D Models

Xingchao Peng, Baochen Sun+2 more|arXiv (Cornell University)|Dec 22, 2014

Advanced Neural Network Applications参考文献 24被引用数 25

ひとこと要約

本論文では、自由に入手可能な3次元CADモデルから生成された合成画像を用いて深層オブジェクト検出器を訓練する手法を提案し、特に少サンプルおよびドメインシフトの状況で顕著な性能向上を示している。本手法は、低レベルの手がかり（テクスチャや背景）が欠落または簡略化されていても、合成データから学習した手がかり不変特徴を活用することで、PASCAL VOC2007およびOfficeベンチマークで最先端の結果を達成している。

ABSTRACT

Crowdsourced 3D CAD models are becoming easily accessible online, and can potentially generate an infinite number of training images for almost any object category.We show that augmenting the training data of contemporary Deep Convolutional Neural Net (DCNN) models with such synthetic data can be effective, especially when real training data is limited or not well matched to the target domain. Most freely available CAD models capture 3D shape but are often missing other low level cues, such as realistic object texture, pose, or background. In a detailed analysis, we use synthetic CAD-rendered images to probe the ability of DCNN to learn without these cues, with surprising findings. In particular, we show that when the DCNN is fine-tuned on the target detection task, it exhibits a large degree of invariance to missing low-level cues, but, when pretrained on generic ImageNet classification, it learns better when the low-level cues are simulated. We show that our synthetic DCNN training approach significantly outperforms previous methods on the PASCAL VOC2007 dataset when learning in the few-shot scenario and improves performance in a domain shift scenario on the Office benchmark.

研究の動機と目的

• オブジェクト検出における新しいオブジェクトカテゴリのための実世界のアノテート済みトレーニングデータが限られているという課題に対処すること。
• 深層畳み込みニューラルネットワーク（CNN）が、現実的なテクスチャ、ポーズ、背景が欠落した3次元CADモデルから生成された2次元合成画像から、頑健なオブジェクト検出器を学習できるかを調査すること。
• 合成データ拡張を活用して、オブジェクト検出における少サンプルおよびドメインシフト一般化を向上させること。
• 色、テクスチャ、3次元ポーズ、シーンコンテキストなどの欠落した低レベルの手がかりに対して、深層特徴がどの程度不変であるかを定量化すること。
• 最小限の人的アノテーションで新しいカテゴリの検出器をトレーニングするスケーラブルな手法を開発すること。

提案手法

• ポーズ、照明、背景を変化させたレンダリングパイプラインを用いて、自由に入手可能な3次元CADモデルから合成2次元トレーニング画像を生成する。
• 本手法は2つの合成データ生成設定を評価する：V-GRAY（一様なグレーのテクスチャ、白色の背景）とV-TX（実画像からの現実的なテクスチャ、白色の背景）。
• 領域提案ネットワークとR-CNNスタイルのトレーニングを用いて、合成データ上で深層CNN（VCNN）を微調整してオブジェクト検出を行う。
• 選択的サーチを用いて領域提案を生成し、合成画像上でネットワークを微調整することで特徴の一般化を向上させる。
• ドメインシフトの状況では、ターゲットドメインの実際のテクスチャを用いて合成データを生成し、ドメイン固有の手がかりを模擬する。
• 性能は、PASCAL VOC2007（少サンプル）およびOfficeデータセット（ドメインシフト）で評価され、実データベースラインおよび先行する合成手法と比較される。

実験結果

リサーチクエスチョン

• RQ1 現実的なテクスチャや背景が欠落した3次元CADモデルから生成された2次元合成画像から、深層CNNが頑健なオブジェクト検出器を学習できるか？
• RQ2 色、テクスチャ、3次元ポーズ、シーンコンテキストなどの欠落した低レベルの手がかりに対して、深層特徴はどの程度不変であるか？
• RQ3 少サンプルおよびドメインシフトの状況において、合成データで微調整することで、実データで微調整するのと比較して性能が向上するか？
• RQ4 合成データから学習した不変性は、実世界の検出タスクに転送可能か？
• RQ5 実写に近いテクスチャを模擬することで、非フォトリッチなレンダリングと比較して、合成データにおける検出器の性能が向上するか？

主な発見

• 一様なグレーのテクスチャなどの簡略化された手がかりを有する、3次元CADからレンダリングされた合成画像で事前学習されたDCNNを微調整することで、現実的なテクスチャや背景がなくても強力な検出性能が得られる。
• PASCAL VOC2007データセットでは、カテゴリ1つあたり10枚の実画像のみで31%のmAPを達成し、実データのみまたは先行する合成手法を上回った。
• Officeベンチマークのドメインシフトシナリオでは、Webcam画像で学習した場合にAmazonドメインで46.25%のmAPを達成し、実Webcamデータのみで学習した検出器の38.91%mAPを顕著に上回った。
• V-TX設定（実際のテクスチャを有する）はV-GRAY（一様なグレー）を上回り、現実的なテクスチャを模擬することで、特に微調整されたネットワークにおいて特徴学習が向上することが示された。
• 本研究では、検出タスクのための微調整がなされた場合、DCNNが欠落した低レベルの手がかりに対して強い不変性を示すが、微調整が行われない場合にはその不変性が低下することが明らかになった。
• 結果として、3次元モデルから得られる合成データが、実データの補完として効果的に機能し、アノテーションの負担を軽減しながら、リソースが限られた状況およびドメインシフト設定での性能向上を実現できることを示した。