[論文レビュー] OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks

Pierre Sermanet, David Eigen+4 more|arXiv (Cornell University)|Dec 21, 2013

Advanced Neural Network Applications参考文献 19被引用数 1,333

ひとこと要約

OverFeatは、画像分類、オブジェクト局所化、検出の3つのタスクに同一の共有畳み込みネットワークを用いる統合的ディープラーニングフレームワークを提案する。マルチスケールのスライディングウィンドウを適用し、バウンディングボックスのオフセットを学習することで、背景の学習を必要とせず、位置のあちこちで証拠を集積することで検出の信頼性を向上させ、ILSVRC2013の局所化および検出タスクで最先端の結果を達成した。

ABSTRACT

We present an integrated framework for using Convolutional Networks for classification, localization and detection. We show how a multiscale and sliding window approach can be efficiently implemented within a ConvNet. We also introduce a novel deep learning approach to localization by learning to predict object boundaries. Bounding boxes are then accumulated rather than suppressed in order to increase detection confidence. We show that different tasks can be learned simultaneously using a single shared network. This integrated framework is the winner of the localization task of the ImageNet Large Scale Visual Recognition Challenge 2013 (ILSVRC2013) and obtained very competitive results for the detection and classifications tasks. In post-competition work, we establish a new state of the art for the detection task. Finally, we release a feature extractor from our best model called OverFeat.

研究の動機と目的

• 1つの畳み込みネットワークを用いて、同時に画像分類、オブジェクト局所化、検出を実行する統合的ディープラーニングフレームワークの開発。
• 各スライディングウィンドウに対するオブジェクト境界座標を予測するようにネットワークを訓練することで、局所化の精度を向上させること。
• 検出の際の背景サンプリングや複雑なブートストラップ処理を排除するため、スケールおよび位置にわたるバウンディングボックス予測を集積することで、検出の信頼性を向上させること。
• 複数のタスクにわたる共有特徴学習が、特に検出および局所化の性能を向上させることを示すこと。
• ImageNet ILSVRC2013ベンチマークにおいて、オブジェクト検出および局所化の分野で新たな最先端性能を確立すること。

提案手法

• 入力画像全体にわたってマルチスケールのスライディングウィンドウを適用し、同じ共有畳み込みネットワークが各ウィンドウを処理する。
• ネットワークは各ウィンドウに対してクラス確率と相対的なバウンディングボックス座標（x, y, w, h）を予測するように訓練される。これにより、局所化が可能になる。
• 非最大値抑制（NMS）の代わりに、複数のスケールおよび位置にわたるバウンディングボックス予測を集積することで、検出の信頼性を向上させる。
• トレーニング中にオンザフライでネガティブ例を選択することで、複雑なブートストラップ処理を回避し、過学習のリスクを低減する。
• モデルはまずImageNet分類タスクで事前学習され、その後、画像の位置にわたる空間的に密なトレーニングを用いて検出および局所化タスクにファインチューニングされる。
• 交差エントロピーを分類用、L2損失をバウンディングボックス回帰用に組み合わせた新しい損失関数を採用。IOUに基づく最適化の可能性も示唆。

実験結果

リサーチクエスチョン

• RQ1 1つの畳み込みネットワークを、分類・局所化・検出を同時に効果的に行えるように訓練できるか？
• RQ2 オブジェクトのバウンディングボックス座標を予測する学習が、局所化および検出性能にどのように寄与するか？
• RQ3 スケールおよび位置にわたるバウンディングボックス予測の集積は、非最大値抑制（NMS）を置き換え、検出の信頼性を向上させることができるか？
• RQ4 検出のトレーニング時に明示的な背景サンプリングを回避することで、性能向上とトレーニングの簡素化が達成できるか？
• RQ5 分類タスクで学習した共通の特徴抽出器を、再学習を伴わず、局所化および検出タスクに有効にファインチューニングできるか？

主な発見

• OverFeatは、ILSVRC2013の局所化コンテストでトップスコアを記録し、トップ5誤差率29.9%を達成。他のすべての手法を上回った。
• 検出システムはILSVRC2013コンテストで3位となり、平均平均精度（mAP）19.4%を記録。その後の実験でmAPは24.3%に向上した。
• 検出タスクにおいて、24.3%のmAPを達成し、4位の手法（11.5% mAP）を大きく上回る最先端の性能を示した。
• 背景サンプリングや複雑なブートストラップ処理の必要性がなくなり、トレーニングが簡素化されながらも高い精度を維持した。
• マルチスケールの特徴マップと、低解像度のスケールからの特徴統合により、文脈モデリングが向上し、検出性能が向上した。
• 複数のタスクにわたる共有特徴学習が、特に局所化および検出において性能向上をもたらすことが実証された。分離されたモデルを別々に用意する必要はなかった。