[論文レビュー] Deep CNN Ensemble with Data Augmentation for Object Detection

Jian Guo, Stephen Jay Gould|arXiv (Cornell University)|Jun 24, 2015

Advanced Neural Network Applications参考文献 2被引用数 46

ひとこと要約

本論文では、オブジェクト検出のための深層畳み込みニューラルネットワーク（CNN）アンサンブルとデータ拡張を提案する。GoogleNetとVGG-16モデルを用い、PASCAL VOCトレーニングセットにMicrosoft COCO画像を追加した拡張されたデータセットで微調整した。複数の異なるデータで訓練されたモデルの予測を平均化することで、提出時時点でPASCAL VOC 2012テストセットで70.3%のmAPを達成し、モデルアンサンブルとデータ拡張により、先行手法を上回る最先端の性能を実現した。

ABSTRACT

We report on the methods used in our recent DeepEnsembleCoco submission to the PASCAL VOC 2012 challenge, which achieves state-of-the-art performance on the object detection task. Our method is a variant of the R-CNN model proposed Girshick:CVPR14 with two key improvements to training and evaluation. First, our method constructs an ensemble of deep CNN models with different architectures that are complementary to each other. Second, we augment the PASCAL VOC training set with images from the Microsoft COCO dataset to significantly enlarge the amount training data. Importantly, we select a subset of the Microsoft COCO images to be consistent with the PASCAL VOC task. Results on the PASCAL VOC evaluation server show that our proposed method outperform all previous methods on the PASCAL VOC 2012 detection task at time of submission.

研究の動機と目的

• PASCAL VOC 2012データセットにおけるオブジェクト検出性能の向上を、ディープラーニング技術を用いて行う。
• 多様なCNNアーキテクチャを用いたモデルアンサンブルが検出精度に与える影響を調査する。
• PASCAL VOC検出タスクにおけるMicrosoft COCOデータセットを用いたデータ拡張の有効性を評価する。
• 異なるデータサブセットで訓練された複数のモデルの予測を組み合わせることで、一般化性能と性能が向上するかどうかを特定する。

提案手法

• 本手法は、ImageNetで事前学習されたGoogleNetとVGG-16の2つの深層CNNモデルのアンサンブルを採用し、PASCAL VOC 2012で微調整した。
• トレーニングデータは、PASCAL VOC 2012とMicrosoft COCO 2014データセットを統合することで拡張され、より大規模かつ多様なトレーニングセットが構築された。
• 微調整には確率的勾配降下法を用い、基本学習率10^-3、モーメンタム0.9、重み減衰5×10^-4を100,000イテレーションにわたり適用した。
• 分類のため、最終の平均プーリング層からの特徴ベクトル（GoogleNetでは1024次元、VGG-16では4096次元）を抽出した。
• 最終的な予測は、6つのネットワーク（2つのモデルが3つのデータ分割で学習）の出力を平均化することで得られた。
• 選択的サーチの候補領域に対してバウンディングボックス回帰を適用し、最終的な予測は6つのネットワークにおけるSVMスコアと回帰座標を平均化することで得られた。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャを持つ複数の深層CNNモデルを組み合わせることで、PASCAL VOC 2012におけるオブジェクト検出性能が向上するか？
• RQ2 PASCAL VOCで微調整する際、Microsoft COCOデータセットを用いたデータ拡張が、検出精度にどの程度寄与するか？
• RQ3 異なるデータサブセットで訓練された複数のネットワークにおけるモデル平均化が、一般化性能とmAPに与える影響はいかほどか？
• RQ4 特定の点を過ぎてから、さらに多くのモデルをアンサンブルに追加しても、性能向上のマージナルゲインはどの程度か？

主な発見

• GoogleNetとVGG-16のアンサンブルは、PASCAL VOC 2007+2012データセットで微調整した結果、バリデーションセットで65.0%のmAPを達成し、前回の最良4ネットワークアンサンブルより2.3%向上した。
• 最終モデルは、VOC+COCOで拡張されたデータセットを用い、6つのネットワークで学習させた結果、PASCAL VOC 2012バリデーションセットで68.3%のmAPを達成し、単一モデルベースラインより3.3%向上した。
• バウンディングボックス回帰を適用し、6つのネットワークからの予測を平均化した結果、PASCAL VOC 2012テストセットでmAPが70.3%に上昇し、提出時（2015年5月3日）にトップランクの提出となった。
• 8つのネットワークを用い、バウンディングボックス回帰を適用した場合、テストセットmAPは70.1%に達した。これは、その後の最先端手法（mAP 70.7%）を0.6%上回った。
• アンサンブルによる性能向上は、ある点を過ぎては次第に小さくなり、特定のアンサンブルサイズを超えるとリターンが減少する傾向にあることが示された。