[論文レビュー] Scalable Object Detection using Deep Neural Networks

Dumitru Erhan, Christian Szegedy+2 more|arXiv (Cornell University)|Dec 8, 2013

Advanced Neural Network Applications参考文献 2被引用数 36

ひとこと要約

この論文では、1枚の画像に対して複数のバウンディングボックスと信頼度スコアを予測する単一のディープニューラルネットワーク（DNN）を用いる、クラスに依存しないオブジェクト検出手法であるDeepMultiBoxを提案する。これにより、複数のオブジェクトインスタンスのスケーラブルで効率的な検出とクロスクラスへの一般化が可能になる。本手法は、1枚あたり5〜10個の上位スコアのボックスを評価するだけで、VOC2007およびILSVRC2012で競争力ある精度を達成しており、クラス別検出器と比較して計算コストを顕著に削減している。

ABSTRACT

Deep convolutional neural networks have recently achieved state-of-the-art performance on a number of image recognition benchmarks, including the ImageNet Large-Scale Visual Recognition Challenge (ILSVRC-2012). The winning model on the localization sub-task was a network that predicts a single bounding box and a confidence score for each object category in the image. Such a model captures the whole-image context around the objects but cannot handle multiple instances of the same object in the image without naively replicating the number of outputs for each instance. In this work, we propose a saliency-inspired neural network model for detection, which predicts a set of class-agnostic bounding boxes along with a single score for each box, corresponding to its likelihood of containing any object of interest. The model naturally handles a variable number of instances for each class and allows for cross-class generalization at the highest levels of the network. We are able to obtain competitive recognition performance on VOC2007 and ILSVRC2012, while using only the top few predicted locations in each image and a small number of neural network evaluations.

研究の動機と目的

• クラス数の増加に伴いスケーラビリティに制限を受ける従来のオブジェクト検出器の課題を解決すること。
• 1枚の画像内で同じオブジェクトクラスの複数インスタンスを効率的に検出できること。
• 統合的な表現学習と局所化学習により、トレーニング時に見られなかったカテゴリに対しても一般化可能な検出フレームワークを構築すること。
• すべての位置とスケールを網羅的にスキャンするのではなく、最も可能性の高いオブジェクト候補のみを予測することで、1枚あたりのネットワーク評価回数を削減すること。
• 1つの局所化モデルをトレーニングすることで、再トレーニングなしに新しいカテゴリのオブジェクトを検出可能なトランスファー学習を可能にすること。

提案手法

• モデルは、固定された数のクラスに依存しないバウンディングボックスと、各々の信頼度スコアを予測するためのディープ畳み込みニューラルネットワーク（DNN）を用いる。座標は画像サイズに正規化されており、スケール不変性を確保する。
• 各バウンディングボックスは、4つの正規化座標（x_min, y_min, x_max, y_max）で表現され、DNNの最終隠れ層からの線形変換によって出力される。
• 予測ボックスと真値ボックスの間の割り当て問題を解くための新しい損失関数を採用し、バックプロパゲーションによりボックス座標、信頼度スコア、特徴表現を同時に更新する。
• 重複する予測をフィルタリングするために、非最大抑制（NMS）を採用し、分類に使用するための最高スコアのボックスのみを保持する。
• オブジェクト検出は2段階で実行する：まずDNNが候補ボックスを予測し、次に別個の分類器が上位順位のボックスにクラスラベルを割り当てる。
• モデルはエンドツーエンドでトレーニングされ、深層ネットワークの表現力を利用しながら、特徴表現と局所化予測器を同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワークが、クラス別に別々の検出器を必要とせずに、1枚の画像内で複数のオブジェクト位置を予測できるか？
• RQ2 クラスに依存しない局所化アプローチは、トレーニング時に見られなかったオブジェクトカテゴリに対しても一般化できるか？
• RQ3 複数のバウンディングボックスを回帰するDNNベースの手法が、必要なネットワーク評価回数を減らしながらも、競争力ある検出性能を達成できるか？
• RQ4 1ボックス1クラスおよび従来のDPMスタイルの検出器と比較して、本手法の精度とスケーラビリティはどのように異なるか？
• RQ5 ImageNetでトレーニングされた局所化モデルは、未確認のクラスに対してもVOCデータセットでオブジェクトを検出できる程度にまで一般化できるか？

主な発見

• ILSVRC2012の検証セットにおいて、DeepMultiBoxは上位10個の予測ボックスのみを用いて59.06％の検出精度を達成した。これは、1ボックス1クラス手法（61.00％）に近い性能であり、評価回数を著しく削減した。
• 本手法はデータセット間での一般化に成功した：ImageNetでトレーニングされた局所化モデルは、VOCテストセットでVOCでトレーニングされたモデルよりも多くのVOCオブジェクトを検出できた。これは、より広範な特徴学習が行われたことを示している。
• 5〜10個の上位スコアボックスのみを用いても、DeepMultiBoxは最先端の手法と競合する検出性能を示し、高い効率性を実証した。
• 1ボックス1クラス手法とは異なり、同じオブジェクトクラスの複数インスタンスを検出できることに成功した。
• クラスに依存しない検出アプローチにより、ImageNetでトレーニングされたモデルが微調整なしにVOCでのオブジェクト検出が可能になった。これは、共有された特徴表現のおかげである。
• 本手法は最小限の推論コストで高い性能を達成した。1枚あたり5〜10回のネットワーク評価で十分であり、多数のクラスにスケーラブルであることが示された。