[論文レビュー] A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

Xiaolong Wang, Abhinav Shrivastava+1 more|arXiv (Cornell University)|Apr 11, 2017

Advanced Neural Network Applications参考文献 42被引用数 7

ひとこと要約

本稿では、オクルージョンや変形を直接特徴空間内で生成することで、オブジェクト検出器のロバスト性を向上させる、敵対的訓練フレームワークA-Fast-RCNNを提案する。検出器と、特徴を歪ませて現実世界の困難な変化を模倣する敵対的ネットワークを同時に学習させることで、PASCAL VOC 2007で2.3%、VOC 2012で2.6%のmAP向上を達成し、ピクセルレベルの生成を必要とせずに、まれなオクルージョンや変形に対する不変性が向上することを示した。

ABSTRACT

How do we learn an object detector that is invariant to occlusions and deformations? Our current solution is to use a data-driven strategy -- collect large-scale datasets which have object instances under different conditions. The hope is that the final classifier can use these examples to learn invariances. But is it really possible to see all the occlusions in a dataset? We argue that like categories, occlusions and object deformations also follow a long-tail. Some occlusions and deformations are so rare that they hardly happen; yet we want to learn a model invariant to such occurrences. In this paper, we propose an alternative solution. We propose to learn an adversarial network that generates examples with occlusions and deformations. The goal of the adversary is to generate examples that are difficult for the object detector to classify. In our framework both the original detector and adversary are learned in a joint manner. Our experimental results indicate a 2.3% mAP boost on VOC07 and a 2.6% mAP boost on VOC2012 object detection challenge compared to the Fast-RCNN pipeline. We also release the code for this paper.

研究の動機と目的

• オブジェクト検出データセットにおけるまれなオクルージョンや変形の長尾分布に対処すること。
• 大規模な実データ収集に依存せずに、まれで取り込みにくい変化に対する検出器のロバスト性を向上させること。
• 敵対的ネットワークが特徴空間で困難な陽性例を生成する、共同学習フレームワークの開発。
• データ拡張やOHEMの限界を克服し、データセットの分布を超えたハード例の生成。

提案手法

• 敵対的ネットワークを、特徴マップの空間的変更によってオクルージョンや変形をシミュレートするように学習する。
• 敵対的ネットワークは、生のピクセルを生成するのではなく、特徴応答を操作することでハードな陽性例を生成する。
• 検出器と敵対的ネットワークを、誤分類または不確実な例に焦点を当てて、エンドツーエンドで共同で学習する。
• 本手法は、特徴空間における空間的オクルージョン（ASTN）と空間的変形（ASDN）の2種類の変換を用いる。
• オクルージョン画像の明示的生成を必要とせず、ピクセルレベルの画像合成の複雑さを回避する。
• Fast-RCNNパイプラインに統合され、検出器と敵対的ネットワークの共同最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 特徴空間で敵対的生成されたハード陽性例は、まれなオクルージョンや変形に対するオブジェクト検出器の一般化性能を向上させることができるか？
• RQ2 データ拡張やOHEMと比較して、敵対的特徴空間拡張はmAP向上にどの程度効果的か？
• RQ3 検出器と敵対的ネットワークの共同学習は、標準的なデータ駆動アプローチよりも長尾変化に対してより優れた不変性を達成できるか？
• RQ4 実際のまれなオクルージョンの例がなくても、敵対的ネットワークは現実的で検出が難しい例を生成できるか？
• RQ5 敵対的例はOHEMと補完的であり、併用することでさらなる性能向上が達成できるか？

主な発見

• A-Fast-RCNNは、Fast-RCNNベースラインと比較して、PASCAL VOC 2007で2.3%のmAP向上を達成した。
• PASCAL VOC 2012では、2.6%のmAP向上を達成し、VGG16を用いて69.0%のmAPを達成した。
• MS COCOでは、AP50が42.7%から46.2%に、APが25.7%から27.1%に向上した。
• A-Fast-RCNNとOHEMのアンサンブルは、VOC 2012で71.7%のmAPを達成し、単独で使用した場合を上回った。
• 定性的な分析から、敵対的例はしばしば過剰一般化を引き起こすことが判明しており、例として、オクルージョンした車輪が誤って自転車と分類される場合がある。