[論文レビュー] DeepBox: Learning Objectness with Convolutional Networks

Weicheng Kuo, Bharath Hariharan+1 more|arXiv (Cornell University)|May 8, 2015

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 31

ひとこと要約

DeepBoxは、エッジボックスなどのボトムアップ手法から得られるオブジェクト候補を、学習されたセマンティックな手がかりを用いて再ランク付けする軽量な4層の畳み込みニューラルネットワーク（CNN）を提案する。これにより、オブジェクトネスのランク付けが顕著に向上し、2000枚の候補を使用するベースライン手法と同等の性能を、たった500枚の候補で達成している。1枚あたり260msで動作し、未学習のカテゴリへの一般化と最先端の効率性を示している。

ABSTRACT

Existing object proposal approaches use primarily bottom-up cues to rank proposals, while we believe that objectness is in fact a high level construct. We argue for a data-driven, semantic approach for ranking object proposals. Our framework, which we call DeepBox, uses convolutional neural networks (CNNs) to rerank proposals from a bottom-up method. We use a novel four-layer CNN architecture that is as good as much larger networks on the task of evaluating objectness while being much faster. We show that DeepBox significantly improves over the bottom-up ranking, achieving the same recall with 500 proposals as achieved by bottom-up methods with 2000. This improvement generalizes to categories the CNN has never seen before and leads to a 4.5-point gain in detection mAP. Our implementation achieves this performance while running at 260 ms per image.

研究の動機と目的

• 低レベルのヒント（注目度やグループ化）に依存するボトムアップオブジェクト候補手法の限界を解消し、オブジェクトの高レベルなセマンティック構造を捉えること。
• 深層学習を用いて、特定のオブジェクトカテゴリに依存しない、データ駆動型のセマンティックなオブジェクトネスの概念を効果的に学習できるかを検証すること。
• 大規模な再トレーニングや複雑な推論パイプラインを必要としない、高速で軽量なCNNアーキテクチャを開発し、候補のランク付けを向上させること。
• 学習されたオブジェクトネスが未学習のカテゴリに一般化できること、および下流の検出性能を向上させることを示すこと。

提案手法

• 4層のCNNを、ボトムアップ手法（例：エッジボックス）によって生成されたオブジェクト候補を再ランク付けするように訓練する。入力として切り出し済みの候補領域を用いる。
• 大規模な画像データセットにアノテーションされたオブジェクトを用いて、エンド・ツー・エンドに訓練し、実際にオブジェクトを含む候補に対して高いスコアを割り当てるように学習する。
• SPPとFast R-CNNにインspiredされたアーキテクチャを採用し、最小限の計算オーバーヘッドでフル画像上の効率的推論を可能にする。
• 異なる候補分布に適応するため、各候補生成手法（例：エッジボックス、セレクティブサーチ）ごとにファインチューニングすることで一般化性能を向上させる。
• Fast DeepBoxはマルチスケール推論とシングルスケール推論を組み合わせ、1枚あたり0.26秒の高速化を達成。DeepMaskに比べ70倍の高速化を実現。
• モジュール型のフレームワークであり、任意のボトムアップ候補手法に適用可能で、プラグインとしての再ランク付けモジュールとして機能する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、注目度やグループ化といった低レベルのヒントを超えて、一般化可能なセマンティックなオブジェクトネスの概念を学習できるか？
• RQ2 大規模なネットワークを上回る性能を発揮しながらも、高速性と正確性を維持できる軽量なCNNアーキテクチャは、オブジェクトネスランク付けにおいて優れているか？
• RQ3 エッジボックスなどの1つの候補生成手法で訓練したモデルが、他の手法（例：セレクティブサーチ、MCG）の候補ランク付けを改善できるか？
• RQ4 改善された候補ランク付けが、特に少ない候補数の条件下で、より良いオブジェクト検出性能にどの程度寄与するか？
• RQ5 学習時に一度も見なかったカテゴリのオブジェクトを、学習されたオブジェクトネスモデルが検出できるか？

主な発見

• VOC 2007では、エッジボックスに比べて相対的にAUCが26%向上し、セマンティックなヒントを学習することの有効性を示した。
• COCOでは500枚の候補で、Fast R-CNN検出においてmAPが4.5ポイント向上（37.8%）し、500枚のエッジボックス候補（33.3%）を上回り、2000枚のエッジボックス候補（35.9%）に対しても上回った。
• 未学習のカテゴリへの一般化が可能である：トレーニング時に見なかったカテゴリにおいて、COCOでリコールが16%向上した。
• Fast DeepBoxは1枚あたり0.26秒（マルチスケール）で動作し、DeepMaskに比べ70倍の高速化を達成。IoU=0.5におけるAUCは0.40と競争力のある水準を維持した。
• 各候補生成手法（例：セレクティブサーチ、MCG）ごとにDeepBoxをファインチューニングすることで、性能の低下が解消され、あらゆる手法で一貫した向上が得られた。
• トップ2000候補のみを再ランク付けしても、AUCの低下は0.005～0.01に留まり、リアルタイム推論が可能である。