[論文レビュー] DeNet: Scalable Real-time Object Detection with Directed Sparse Sampling

Lachlan Tychsen-Smith, Lars Petersson|arXiv (Cornell University)|Mar 30, 2017

Advanced Neural Network Applications参考文献 12被引用数 12

ひとこと要約

DeNetは、手動で設計されたアンカーを用いずにスパースなバウンディングボックス分布を推定するための指向的スパースサンプリングを用いて、スケーラブルでリアルタイムなオブジェクト検出フレームワークを導入する。コーナーに基づく領域-of-interest推定器とデコンボリューションによるアップサンプリング、スキップ接続を組み合わせることで、MSCOCO、Pascal VOC 2007、VOC 2012で60 Hzおよび30 Hzの評価レートにおいて最先端の精度を達成し、SSD512の約25,000対比ではるかに大きな候補領域空間（約420万）を活用することで、優れた局所化性能を実現する。

ABSTRACT

We define the object detection from imagery problem as estimating a very large but extremely sparse bounding box dependent probability distribution. Subsequently we identify a sparse distribution estimation scheme, Directed Sparse Sampling, and employ it in a single end-to-end CNN based detection model. This methodology extends and formalizes previous state-of-the-art detection models with an additional emphasis on high evaluation rates and reduced manual engineering. We introduce two novelties, a corner based region-of-interest estimator and a deconvolution based CNN model. The resulting model is scene adaptive, does not require manually defined reference bounding boxes and produces highly competitive results on MSCOCO, Pascal VOC 2007 and Pascal VOC 2012 with real-time evaluation rates. Further analysis suggests our model performs particularly well when finegrained object localization is desirable. We argue that this advantage stems from the significantly larger set of available regions-of-interest relative to other methods. Source-code is available from: https://github.com/lachlants/denet

研究の動機と目的

• 手動で設計されたアンカーボックスに依存しないスケーラブルでリアルタイムなオブジェクト検出システムの開発。
• モデル効率を損なわずに高い推論レート（60 Hzおよび30 Hz）での検出精度の向上。
• 現代の検出手法を統一的理論枠組み「指向的スパースサンプリング」に形式化し、解釈可能性と拡張性の向上。
• 固定アンカーグリッドを超える、より広い候補バウンディングボックスの集合を拡大することで、細粒度の局所化を向上。
• 特に非剛体または回転に依存するオブジェクトに対して、さまざまなシーンへの適応性を示すこと。

提案手法

• オブジェクト検出をバウンディングボックス上でのスパース分布推定問題として形式化するためのフレームワークとして、指向的スパースサンプリングを提案。
• 特徴マップから直接オブジェクトのコーナーを予測するコーナーに基づく領域-of-interest（RoI）推定器を導入し、事前定義された基準ボックスの必要性を排除。
• デコンボリューション層を用いて特徴マップをアップサンプリングし、高解像度の検出マップを生成することで、局所化精度を向上。
• より前のエンコーダ層からのスキップ接続を活用し、空間的詳細を保持することで、小・中サイズオブジェクトの検出を強化。
• クロスエントロピー損失と回帰損失を用いた、コーナー検出、分類、バウンディングボックス回帰の共同最適化によるエンド・ツー・エンド学習。
• バックプロパゲーション中に固定されたサンプリングバウンディングボックス依存性を維持することで、エンド・ツー・エンドの微分可能性を確保するとともに、スパース推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出をスパース分布推定問題として形式化することで、効率性とスケーラビリティが向上するか？
• RQ2 手動で定義されたアンカーボックスを排除することで、さまざまなオブジェクトサイズやアスペクト比にわたる一般化性と適応性が向上するか？
• RQ3 デコンボリューションによるアップサンプリングとスキップ接続は、リアルタイム検出における局所化精度を顕著に向上させるか？
• RQ4 固定アンカーグリッドを超える候補領域の数を増やすことで、検出性能と局所化精度にどのような影響を与えるか？
• RQ5 1つのモデルが、ロバスト性を損なわず、60 Hzおよび30 Hzの両方の評価レートで競争力のある精度を達成できるか、その程度はどの程度か？

主な発見

• DeNet-34はPascal VOC 2007で82 Hzで75.9%の平均平均精度（mAP）を達成し、SSD300を1.6% mAPおよび20 Hz上回る。
• DeNet-101はPascal VOC 2007で33 HzでSSD512と同等の76.8% mAPを達成し、優れたスピード-精度トレードオフを示す。
• MSCOCO test-dev2015では、DeNet-101が34 Hzで44.8% mAPを達成し、RPN（ResNet）を1.9% mAP上回り、推論レートは1/15にまで低下する。
• モデルの候補領域空間は約420万であり、SSD512の約25,000に比べ顕著に大きく、より正確な初期ボックスが真値に近い状態で初期化可能。
• スキップ接続は小・中サイズオブジェクトの検出性能を向上させ、DeNet-101（スキップあり）はVOC 2007で77.1% mAPを達成。
• 広いモデルバージョンは、高解像度のコーナーマップが小・中サイズオブジェクトの検出を向上させることを示しており、将来的なスケーラブルな道筋を示唆する。