[論文レビュー] DeepID-Net: multi-stage and deformable deep convolutional neural networks for object detection

Wanli Ouyang, Ping Luo+13 more|arXiv (Cornell University)|Sep 11, 2014

Advanced Neural Network Applications参考文献 75被引用数 134

ひとこと要約

この論文では、特徴表現の向上、パーツの変形モデリング、文脈情報統合を改善するためのマルチステージで可変可能な深層畳み込みニューラルネットワーク、DeepID-Netを提案する。変形制約付きプーリング（def-pooling）層の導入、オブジェクトレベルのアノテーションを用いた新規事前学習戦略、マルチステージトレーニング、多様なモデルアンサンブルにより、ILSVRC 2014で45%の平均平均精度（mAP）を達成し、RCNNの31%を著しく上回った。

ABSTRACT

In this paper, we propose multi-stage and deformable deep convolutional neural networks for object detection. This new deep learning object detection diagram has innovations in multiple aspects. In the proposed new deep architecture, a new deformation constrained pooling (def-pooling) layer models the deformation of object parts with geometric constraint and penalty. With the proposed multi-stage training strategy, multiple classifiers are jointly optimized to process samples at different difficulty levels. A new pre-training strategy is proposed to learn feature representations more suitable for the object detection task and with good generalization capability. By changing the net structures, training strategies, adding and removing some key components in the detection pipeline, a set of models with large diversity are obtained, which significantly improves the effectiveness of modeling averaging. The proposed approach ranked \#2 in ILSVRC 2014. It improves the mean averaged precision obtained by RCNN, which is the state-of-the-art of object detection, from $31\%$ to $45\%$. Detailed component-wise analysis is also provided through extensive experimental evaluation.

研究の動機と目的

• 大規模なクラス内変動、変形、ごみだらけの背景を伴う複雑な状況下での汎用的オブジェクト検出の向上を図ること。
• 特徴表現、パーツの変形モデリング、文脈的推論を統合的に最適化する深層学習フレームワークの構築。
• 新規のトレーニングおよび事前学習戦略により、過学習を克服し一般化性能を向上させること。
• 異なるアーキテクチャとトレーニング方式を用いた効果的なモデルアンサンブルにより、モデル性能の向上を図ること。

提案手法

• 標準的なマックスプーリングに代わり、幾何的変形をペナルティ付きで学習する変形制約付きプーリング（def-pooling）層を導入。
• 画像レベルのラベルではなく、ImageNet 1000クラス分類のオブジェクトレベルアノテーションを用いた新規事前学習戦略を提案し、検出タスクへの特徴転送を向上。
• 各段階で難易度の高いサンプルを処理するマルチステージトレーニング方式を採用。各段階で共同最適化と正則化を実施し、過学習を低減。
• ネットワーク構造とトレーニング戦略を変化させることで得られる多様なモデルを用い、モデルアンサンブルにより性能を向上。多様性を活かしたアプローチ。
• 画像分類スコアからの文脈的情報を統合し、ボクシングボックス回帰を適用して局所化精度を改善。
• 異なるアーキテクチャとトレーニング戦略を持つ複数のモデルを用いたモデルアンサンブルを実施。分類ごとの組み合わせ戦略を適用し、さらなる検出精度向上を図った。

実験結果

リサーチクエスチョン

• RQ1 特徴表現、パーツの変形モデリング、文脈を統合的にモデル化する深層学習フレームワークは、RCNNを上回る汎用的オブジェクト検出を実現できるか？
• RQ2 画像レベルのラベルではなくオブジェクトレベルのアノテーションを用いた事前学習は、検出性能にどのように影響するか？
• RQ3 段階的な難易度の高いサンプル抽出を伴うマルチステージトレーニング戦略は、一般化性能の向上と過学習の低減にどの程度寄与するか？
• RQ4 アーキテクチャとトレーニング戦略が異なるモデルを用いたモデルアンサンブルは、特に異なるオブジェクトカテゴリにおいてどの程度有効か？
• RQ5 def-pooling、文脈モデリング、ボクシングボックス回帰、事前学習の各コンポーネントが最終的な検出精度に果たす寄与度はどの程度か？

主な発見

• 提案されたDeepID-Netは、ILSVRC 2014のバリデーションセットで平均平均精度（mAP）45%を達成し、RCNNの31%を上回り、コンテストで第2位となった。
• 画像レベルの事前学習からオブジェクトレベルの事前学習に置き換えることで、mAPが約4%向上した。
• def-pooling層は、幾何的制約を用いたパーツ変形モデリングにより、mAPを2.5%向上させた。
• ボクシングボックス回帰と分類スコアからの文脈的情報の両方とも、mAPを約1%向上させた。
• アーキテクチャとトレーニング戦略が異なる複数のモデルを用いたモデルアンサンブルにより、性能が顕著に向上し、最終的なmAPは45%に達した。
• マルチステージトレーニング方式は、難易度の異なるサンプルを効果的に処理でき、標準的なバックプロパゲーションと比較して過学習を低減した。