[論文レビュー] What is Holding Back Convnets for Detection?

Bojan Pepik, Rodrigo Benenson+2 more|arXiv (Cornell University)|Aug 12, 2015

Advanced Neural Network Applications参考文献 11被引用数 21

ひとこと要約

本論文は、大規模な学習を行っても最先端のConvNetsが物体検出で性能を発揮できない理由を調査し、回転、隠蔽、切断、小サイズの外観要因に対する不変性の欠如が原因であることを明らかにした。Pascal3D+と合成レンダリングを用いて、性能を制限するのはデータ量だけでなくアーキテクチャの制限であることを示し、フォトリッチな合成データが検出精度を顕著に向上させることを実証した。Pascal3D+で67.2のmAPという最先端の性能を達成した。

ABSTRACT

Convolutional neural networks have recently shown excellent results in general object detection and many other tasks. Albeit very effective, they involve many user-defined design choices. In this paper we want to better understand these choices by inspecting two key aspects "what did the network learn?", and "what can the network learn?". We exploit new annotations (Pascal3D+), to enable a new empirical analysis of the R-CNN detector. Despite common belief, our results indicate that existing state-of-the-art convnet architectures are not invariant to various appearance factors. In fact, all considered networks have similar weak points which cannot be mitigated by simply increasing the training data (architectural changes are needed). We show that overall performance can improve when using image renderings for data augmentation. We report the best known results on the Pascal3D+ detection and view-point estimation tasks.

研究の動機と目的

• 現在のConvNetアーキテクチャが物体検出において外観要因（回転、サイズ、切断、隠蔽など）に対して不変性を欠いている主な要因を特定すること。
• 学習データ量を増やすことだけでは、検出タスクの性能ボトルネックを克服できるかどうかを検証すること。
• ワイヤーフレーム、テクスチャ付きモデル、テクスチャ転送などの合成画像レンダリングの有効性を、一般化性能の向上の観点から評価すること。
• 小サイズ、切断、隠蔽された物体を検出する際の継続的な弱みを是正するために、アーキテクチャの変更が必要かどうかを検証すること。
• データ拡張戦略を用いて、Pascal3D+の物体検出および視点推定ベンチマークで最先端の性能を達成すること。

提案手法

• 詳細な3Dアノテーションを備えたPascal3D+データセットを活用し、さまざまな外観要因下での検出性能を微細に分析可能にした。
• 実データおよび合成データで微調整された事前学習済みConvNet（AlexNet, GoogleNet, VGG16）を用いたR-CNNパイプラインを訓練し、最終的な検出スコアにはSVM分類を適用した。
• CADモデルを用いて、リアルさの異なるバリエーション（ワイヤーフレーム、単純なテクスチャ、テクスチャ転送技術）で合成学習データを生成した。
• 実データと合成データを異なる比率（例：1:2 実データ:合成データ）で組み合わせ、データ効率性と性能向上を評価した。
• 小サイズおよび局所化が不十分な物体の検出を改善するために、サイズに特化したモデルとバウンディングボックス回帰を強化したモデルを導入した。
• 検出性能と3Dポーズ推定精度の両方を評価するため、mAPおよびAAVP（平均角視点予測）指標を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端のConvNetsは、物体検出において回転、サイズ、切断、隠蔽といった主要な外観要因に対して不変性を有しているか？
• RQ2 単に実データの学習量を増やすことで、どの程度性能向上が達成できるか？
• RQ3 特にリアルさが向上する合成画像レンダリング（例：テクスチャ転送）は、困難なケースにおける検出性能を顕著に向上させることができるか？
• RQ4 どの種類の合成データ（例：ワイヤーフレーム、テクスチャ付きモデル、テクスチャ転送）が最も効果的な性能向上をもたらすか？
• RQ5 小サイズ、切断、隠蔽された物体に対する継続的な検出の弱みを是正するために、どのようなアーキテクチャ的またはトレーニングの変更が必要か？

主な発見

• 評価されたすべての最先端ConvNets（AlexNet, GoogleNet, VGG16）は、小サイズ、切断、隠蔽された物体の検出において類似した弱みを示しており、これはデータ不足ではなくアーキテクチャ的制限に起因していることを示している。
• 単に実データの学習量を増やしても、これらの弱みは解消されないため、アーキテクチャ的変更やインダクティブバイアスの見直しが必要であると示唆している。
• 合成レンダリングは検出性能を顕著に向上させる。特にテクスチャ転送によるレンダリングのみで、実データのみの学習に比べてmAPが4ポイント向上（VGG16を用いて51.2から55.2に向上）した。
• 実データと合成データを1:2の比率で組み合わせた場合が最もバランスが良く、テクスチャ転送と統合モデルを用いることでmAPが64.1に達した。
• サイズに特化したモデルとバウンディングボックス回帰を追加することで、mAPは67.2に上昇し、Pascal3D+における検出タスクで報告された最高の数値となった。
• 最終モデルは視点推定で43.8のAAVPを達成し、3Dオブジェクトポーズ予測において最先端の性能を示した。