[論文レビュー] Dynamic Zoom-in Network for Fast Object Detection in Large Images

Mingfei Gao, Ruichi Yu+3 more|arXiv (Cornell University)|Nov 14, 2017

Advanced Neural Network Applications参考文献 32被引用数 15

ひとこと要約

本稿では、強化学習を用いて有望な領域にのみ検出を精緻化することで、高解像度画像における物体検出を高速化する動的ズームインネットワークを提案する。まずダウンサンプリングされた画像に対して粗い検出器を適用し、次にR-netが精度向上の見込みを予測し、Q-netが逐次的に最適な領域を高解像度で分析するのを決定する。これにより、処理対象ピクセル数を最大70%削減し、検出時間を50%以上短縮しながらも、精度に著しい損なわれることなく実現した。

ABSTRACT

We introduce a generic framework that reduces the computational cost of object detection while retaining accuracy for scenarios where objects with varied sizes appear in high resolution images. Detection progresses in a coarse-to-fine manner, first on a down-sampled version of the image and then on a sequence of higher resolution regions identified as likely to improve the detection accuracy. Built upon reinforcement learning, our approach consists of a model (R-net) that uses coarse detection results to predict the potential accuracy gain for analyzing a region at a higher resolution and another model (Q-net) that sequentially selects regions to zoom in. Experiments on the Caltech Pedestrians dataset show that our approach reduces the number of processed pixels by over 50% without a drop in detection accuracy. The merits of our approach become more significant on a high resolution test set collected from YFCC100M dataset, where our approach maintains high detection performance while reducing the number of processed pixels by about 70% and the detection time by over 50%.

研究の動機と目的

• 高解像度画像における物体検出の計算コストを、下位の検出器アーキテクチャを変更せずに低減すること。
• 高メモリおよび高処理要求のため、標準的な検出器を大規模画像に直接適用する際の非効率性に対処すること。
• 計算を有望な領域に限定することで、高解像度画像における小形および多様なサイズの物体の正確な検出を可能にすること。
• 異なる検出器アーキテクチャや画像スケールに一般化可能なフレームワークの開発

提案手法

• 本手法は二段階のプロセスを用いる：まず、ダウンサンプリングされた画像に対して粗い検出器を適用して初期予測を生成する。
• R-net（回帰ネットワーク）は、粗い検出結果に基づき、各領域をズームインした際の潜在的な精度向上を予測する。
• Q-net（Q関数ネットワーク）は、R-netの精度向上マップと過去のズーム履歴を用いて、次に高解像度で分析する最適な領域を選択する。
• Q-netは、異なるズームウィンドウサイズに対応する2つの並列パイプラインを採用し、計算コストあたりの長期的精度向上を最大化するような行動-報酬マップを出力する。
• 強化学習を用いて、検出精度と計算効率の両面で長期的報酬をモデル化することで、動的かつ適応的なズームイン意思決定を可能にする。
• 本フレームワークは汎用的であり、下位の検出器アーキテクチャの変更を必要としないため、さまざまなCNNベースの物体検出器に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づく手法が、大規模画像における全体の計算コスト低減を実現するために、高価値の領域を動的に選択し、高解像度での検出を実施できるか。
• RQ2 本手法は、小形・多様なサイズの物体を含む高解像度データセットにおいて、標準的な検出器と比較して精度および推論時間でどのように差をつけるか。
• RQ3 処理時間およびピクセル負荷は、大規模画像における検出性能を維持したまま、どの程度まで低減可能か。
• RQ4 粗い検出から細かい検出への相関関係から学習した精度向上の予測が、エントロピーなどのヒューリスティック指標（例：ER）よりもズームイン意思決定を効果的に導くか。

主な発見

• Caltech Pedestrian Detectionデータセットでは、処理ピクセル数を50%以上削減し、検出時間を25%短縮しながらも、精度の低下はほとんど認められなかった。
• YFCC100Mから抽出した高解像度テストセットでは、処理ピクセル数を約70%削減し、検出時間を50%以上短縮しながらも、高い検出性能を維持した。
• R-netは、エントロピーに基づく指標（ER）よりも精度向上予測で優れた性能を示した。これは、R-netが粗い検出と細かい検出の両方の信頼性と外観的相関関係を捉えているためである。
• 学習済みのコストペナルティを組み込んだQ-net（Qnet*-CNN+Rnet）は、画像サイズの変化に強く、ピクセル予算が制限された状況でも、過大なズーム領域の選択を回避する。
• YOLO や SSD といったワンショット検出器と比較して、本手法は特に小形物体のAP（平均適合率）において顕著に優れており、推論時間はほぼ同等であった。
• 領域の精緻化とCNNベースのQ-netアーキテクチャの組み合わせにより、画像サイズに比べてズームウィンドウサイズが小さい場合に特に検出精度が向上した。