[論文レビュー] Deformable Part Models are Convolutional Neural Networks

Ross Girshick, Forrest Iandola+2 more|arXiv (Cornell University)|Sep 18, 2014

Advanced Neural Network Applications参考文献 26被引用数 57

ひとこと要約

この論文では、距離変換プーリングと学習された特徴ピラミッドを用いて、可変部分モデル（DPM）を畳み込みニューラルネットワーク（CNN）として定式化する、新しいエンドツーエンドの畳み込みニューラルネットワーク（CNN）であるDeepPyramid DPMを提案する。HOG特徴量の代わりにCNNベースの特徴ピラミッドを用いることで、DPM推論を微分可能なネットワークとして表現し、PASCAL VOCで最先端の性能を達成した。これは、同等のR-CNNシステムをわずかに上回り、20倍高速に動作する。

ABSTRACT

Deformable part models (DPMs) and convolutional neural networks (CNNs) are two widely used tools for visual recognition. They are typically viewed as distinct approaches: DPMs are graphical models (Markov random fields), while CNNs are "black-box" non-linear classifiers. In this paper, we show that a DPM can be formulated as a CNN, thus providing a novel synthesis of the two ideas. Our construction involves unrolling the DPM inference algorithm and mapping each step to an equivalent (and at times novel) CNN layer. From this perspective, it becomes natural to replace the standard image features used in DPM with a learned feature extractor. We call the resulting model DeepPyramid DPM and experimentally validate it on PASCAL VOC. DeepPyramid DPM significantly outperforms DPMs based on histograms of oriented gradients features (HOG) and slightly outperforms a comparable version of the recently introduced R-CNN detection system, while running an order of magnitude faster.

研究の動機と目的

• 可変部分モデル（DPM）と畳み込みニューラルネットワーク（CNN）を1つの微分可能なフレームワークに統合すること。
• 手作業で設計された特徴量に依存するHOGベースのDPMの限界を克服し、事前学習済みCNNからの学習された特徴ピラミッドに置き換えること。
• DPM推論が構造的なCNNとして表現可能であることを示し、新しい層を導入することでエンドツーエンド学習を可能にすること。
• 得られたモデル、DeepPyramid DPMが、PASCAL VOCにおいて既存の手法と比較して優れた検出精度と速度を達成することを示すこと。

提案手法

• DPMの推論アルゴリズムを微分可能な層の列に展開することで、DPMをCNNとして定式化する。
• 部分の変形や空間的関係をモデル化できる、マックスプーリングの一般化である距離変換プーリング（DTプーリング）を導入する。
• 2段階のネットワークを構築する：まず、共有で切断されたSuperVisionアーキテクチャを用いて、画像のスケールから特徴ピラミッドを抽出する。
• 各特徴マップレベルにDPM-CNNを適用し、マックスアウトユニットとDTプーリングを用いて部分検出器と変形をモデル化する。
• 特徴抽出器とDPM-CNNを1つの統合されたCNNとして合成することで、システム全体をエンドツーエンドで学習する。
• すべてのピラミッドレベルに共通で重みを共有するアーキテクチャを採用することで、パラメータの効率性と空間的一致性を維持する。

実験結果

リサーチクエスチョン

• RQ1 可変部分モデルを微分可能な畳み込みニューラルネットワークとして表現できるか？
• RQ2 HOG特徴量を学習された特徴ピラミッドに置き換えることでDPMの性能が向上するか？
• RQ3 距離変換プーリングは、CNNにおける部分の変形をモデル化するためにマックスプーリングを一般化できるか？
• RQ4 エンドツーエンドのDeepPyramid DPMは、PASCAL VOCにおいてR-CNNおよびHOG-DPMと比較して、精度と速度の両面でどのように差がつくか？
• RQ5 スライディングウィンドウ法と領域ベースの検出法は、組み合わせることで相乗効果を発揮するか？

主な発見

• DeepPyramid DPMはPASCAL VOC 2010で平均平均精度（mAP）42.0%を達成し、HOG-DPM（33.4%）を上回り、境界ボックス回帰なしのR-CNN FT fc7と同等の性能を示した。
• 2つのクラス（ボトルと人物）において、同等のR-CNNシステム（R-CNN FT fc7 BB）をわずかに上回った。これは、領域提案の品質や特徴表現に優位性がある可能性を示唆している。
• DeepPyramid DPMはR-CNNに比べて約20倍高速に動作しながら、競争力のある精度を達成しており、速度と精度のトレードオフの大幅な改善を示している。
• 誤検出の正例を除いた負例のみを用いると、mAPが6.3ポイント低下した。これは、ハードネガティブマイニングの重要性を強調している。
• アブレーションスタディの結果、混合成分を1つから2つまたは3つに増やすことで性能が向上した。これは、複数のテンプレートが再現率と一般化性能を向上させることを示している。
• 本モデルは、スライディングウィンドウ法と領域ベースの検出器が相補的であることを示しており、アンサンブル手法によるさらなる向上の可能性を示唆している。