[論文レビュー] Training and Testing Object Detectors with Virtual Images

Yonglin Tian, Xuan Li+2 more|arXiv (Cornell University)|Dec 22, 2017

Advanced Neural Network Applications参考文献 28被引用数 3

ひとこと要約

本稿では、並列ビジョン（Parallel Vision）の枠組みのもとで、コンピュータグラフィックスを用いて正確なアノテーションが付与された仮想データセットを生成するフレームワークを提案している。実データセットと組み合わせることでオブジェクト検出器の性能が向上することを示しており、特に小型オブジェクトや高度な隠蔽状態のような困難な条件下でも、意図的に設計された仮想データセットがモデルの頑健性を効果的に評価できることを示している。

ABSTRACT

In the area of computer vision, deep learning has produced a variety of state-of-the-art models that rely on massive labeled data. However, collecting and annotating images from the real world has a great demand for labor and money investments and is usually too passive to build datasets with specific characteristics, such as small area of objects and high occlusion level. Under the framework of Parallel Vision, this paper presents a purposeful way to design artificial scenes and automatically generate virtual images with precise annotations. A virtual dataset named ParallelEye is built, which can be used for several computer vision tasks. Then, by training the DPM (Deformable Parts Model) and Faster R-CNN detectors, we prove that the performance of models can be significantly improved by combining ParallelEye with publicly available real-world datasets during the training phase. In addition, we investigate the potential of testing the trained models from a specific aspect using intentionally designed virtual datasets, in order to discover the flaws of trained models. From the experimental results, we conclude that our virtual dataset is viable to train and test the object detectors.

研究の動機と目的

• オブジェクト検出における現実世界のデータセットの限界、たとえば高コストなアノテーション、多様性の不足、小型オブジェクトや高レベルの隠蔽といった特定の特性の欠如を解決すること。
• 手動によるアノテーションに伴う主観性や一貫性の欠如を解消し、環境的要因やオブジェクトレベルの変動を制御した正確なラベルが付与された仮想画像を生成すること。
• 特定の困難な視覚的条件下でオブジェクト検出器の訓練とテストに特化した仮想データセット（ParallelEye）を構築すること。
• 合成データセットを訓練のためだけでなく、制御されたシナリオにおけるモデルの頑健性評価のための利用可能性を調査すること。
• 仮想データセットと現実世界のデータセットを組み合わせることで検出器の性能が向上することを実証し、仮想データセットが特定の条件下でのモデルの弱みを露呈できることを示すこと。

提案手法

• オブジェクトサイズ、隠蔽レベル、テクスチャの変動といった属性を制御した仮想画像を生成するため、高度なコンピュータグラフィックス技術を用いて人工的なシーンを設計する。
• 仮想シーン内のすべてのオブジェクトに対して、正確なバウンディングボックスアノテーションを自動生成し、高品質な教師信号データを確保する。
• 小型オブジェクトに注目したサブデータセット（ParallelEye_01）、中程度の隠蔽状態を強調したサブデータセット（ParallelEye_02）、高レベルの隠蔽状態を強調したサブデータセット（ParallelEye_03）を含む、多様な構成を持つParallelEye仮想データセットを構築する。
• KITTI、VOC、COCOといった現実世界のデータセットと組み合わせて、DPMおよびFaster R-CNNのオブジェクト検出器を学習させ、性能向上を評価する。
• 学習済みモデルを、現実世界のベンチマーク（例：KITTI）および意図的に設計された仮想テストセットでテストし、特定の条件下での頑健性を評価する。
• 平均精度（AP）を主な指標として用い、さまざまな学習およびテスト設定におけるモデル性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 並列ビジョンフレームワークのもとで生成された仮想データセットを、現実世界のデータセットと組み合わせることで、オブジェクト検出器の性能向上に寄与するか？
• RQ2 特定の特性（例：小型オブジェクト、高レベルの隠蔽）を有する合成データを含めることで、検出器の一般化性能および頑健性にどのような影響を与えるか？
• RQ3 意図的に設計された仮想データセットが、希少または困難な視覚的条件下でのモデルの弱みを評価するための診断ツールとして、どの程度有効に機能するか？
• RQ4 学習データから小型オブジェクトや隠蔽オブジェクトを除外した場合、それらの特性を持つ仮想データセットでテストした際のモデル性能にどのような影響が生じるか？
• RQ5 仮想データセットを用いることで、現実世界のデータセットにあまり見られない極端な視覚的条件下でのモデル挙動を体系的に評価できるか？

主な発見

• VGG-16を用いた場合、KITTIデータセットとParallelEyeを組み合わせてFaster R-CNNを学習させた結果、KITTIテストセットにおけるAPが0.741から0.757に向上した。ResNet-50を用いた場合、0.785から0.798に向上した。
• KITTIとParallelEyeの混合データセットでDPMを学習させた結果、KITTI単体での学習時と比較してAPが0.516から0.527に向上し、合成データの恩恵が一貫して得られることを示した。
• ParallelEye_01（小型オブジェクト）でテストしたところ、全KITTIデータで学習したモデルはAP 0.485を達成したが、小型オブジェクトを学習データから除外した場合、APは著しく低下して0.256にまで下がった。これは小型オブジェクト検出に対する高い感受性を示している。
• ParallelEye_03（高レベルの隠蔽）でテストしたところ、全データで学習したモデルはAP 0.585を達成したが、隠蔽オブジェクトを除外した場合、APは0.467に低下し、APの低下率が20.2%に達した。これはモデルが隠蔽状態に対して極めて脆弱であることを示している。
• 小型オブジェクトを除外した場合、ParallelEye_01におけるAP低下率は最大の47.2%に達した。これは、低面積状況下でモデル性能が小型オブジェクトの学習データに最も感受しやすいことを示している。
• 結果から、仮想データセットは訓練に有効であるだけでなく、特定の制御された視覚的条件下でのモデルの弱みを特定する強力な診断ツールとしても機能することが明らかになった。