[論文レビュー] Zoom Out-and-In Network with Map Attention Decision for Region Proposal and Object Detection

Hongyang Li, Yu Liu+2 more|arXiv (Cornell University)|Sep 13, 2017

Advanced Neural Network Applications参考文献 48被引用数 6

ひとこと要約

本稿では、畳み込みデトランスミッションによるアップサンプリングを用いて低レベルの詳細と高レベルの意味的特徴を統合することで、小規模物体検出を向上させる、マップアテンション意思決定を備えたズームアウト＆インネットワーク（ZIP-MAD）を提案する。マップアテンション意思決定ユニットは、訓練中に最も寄与する特徴マップを動的に選択・強調し、PASCAL VOC 2007、ImageNet DET、MS COCOのベンチマークにおいて、領域提案の再現率と検出mAPを向上させる。

ABSTRACT

In this paper, we propose a zoom-out-and-in network for generating object proposals. A key observation is that it is difficult to classify anchors of different sizes with the same set of features. Anchors of different sizes should be placed accordingly based on different depth within a network: smaller boxes on high-resolution layers with a smaller stride while larger boxes on low-resolution counterparts with a larger stride. Inspired by the conv/deconv structure, we fully leverage the low-level local details and high-level regional semantics from two feature map streams, which are complimentary to each other, to identify the objectness in an image. A map attention decision (MAD) unit is further proposed to aggressively search for neuron activations among two streams and attend the most contributive ones on the feature learning of the final loss. The unit serves as a decisionmaker to adaptively activate maps along certain channels with the solely purpose of optimizing the overall training loss. One advantage of MAD is that the learned weights enforced on each feature channel is predicted on-the-fly based on the input context, which is more suitable than the fixed enforcement of a convolutional kernel. Experimental results on three datasets, including PASCAL VOC 2007, ImageNet DET, MS COCO, demonstrate the effectiveness of our proposed algorithm over other state-of-the-arts, in terms of average recall (AR) for region proposal and average precision (AP) for object detection.

研究の動機と目的

• 大きな特徴マップストライドのため、領域提案ネットワークにおける小規模物体検出の課題に対処すること。
• 異なるサイズのアンカーオブジェクトに単一の特徴マップを使用する制限を、マルチスケール特徴ストリームを活用することで克服すること。
• デコンボリューションを用いて高レベルの意味的特徴と低レベルの空間的詳細を統合することで、小規模物体の特徴表現を向上させること。
• 訓練損失の最適化を図るために、情報量の多い特徴マップを動的に選択する動的アテンションメカニズムを開発すること。
• 複数のベンチマークで、領域提案生成および物体検出の両面で最先端の性能を達成すること。

提案手法

• 低解像度の特徴を大規模物体に、高解像度の特徴を小規模物体に適応させる複数スケールで処理するズームアウト＆インネットワークを提案する。
• 高レベル特徴をアップサンプリングすることで、低レベル特徴の解像度に一致させ、詳細な局所化を可能にする。
• 両ストリームからの最も情報量の多い特徴マップを動的に選択するマップアテンション意思決定（MAD）ユニットを導入する。
• MADユニットはチャネルごとのアテンション重みを計算し、文脈依存の特徴選択を可能にすることで、最終的な損失最適化を改善する。
• 領域提案分類とボクセル境界回帰を組み合わせたマルチタスク損失を用いてネットワークを訓練し、MADが特徴学習をガイドする。
• ZIP-MADフレームワークを二段階検出器（例：R-FCN）および一段階検出器（例：SSD）に統合し、汎用性と性能向上を評価する。

Figure 1: (a) Input image where blue and green objects are being examined. (b) A larger stride in higher layers miss the green box between two adjacent anchors. (c) This motivates us to place small-scale anchors in the preceding layers with a smaller stride.

実験結果

リサーチクエスチョン

• RQ1 低レベルの詳細と高レベルの意味的特徴を統合するデュアルストリーム特徴統合戦略は、小規模物体の領域提案品質を向上させることができるか？
• RQ2 学習可能なアテンションメカニズムによる動的特徴マップ選択は、領域提案ネットワーク損失の最適化を改善するか？
• RQ3 提案されたズームアウト＆インアーキテクチャは、多様なデータセットにおいて、平均再現率（AR）および平均適合度（AP）の面で標準的なRPNを上回るか？
• RQ4 MAPアテンション機構は、固定された畳み込みカーネルと比較して、特徴表現および学習収束性に優れているか？
• RQ5 ZIP-MADフレームワークは、二段階および一段階の物体検出パイプラインに、どの程度汎用的に適用可能か？

主な発見

• PASCAL VOC 2007では、R-FCN検出器を用いて79.8%のmAPを達成し、ベースラインのSSD（76.8%）および以前の最先端手法を上回った。
• MS COCOでは、1000件の提案における平均再現率（AR）が88.3%に達し、選択的サーチ（75.6%）およびエッジボックス（75.5%）を大きく上回った。
• ImageNet DETでは、85.4%のmAPを達成し、大規模検出ベンチマークにおける強力な汎用性を示した。
• MAPアテンションユニットのおかげで、アテンションなしのベースラインZIPモデルと比較してmAPが2.7%向上し、特徴選択の有効性が裏付けられた。
• SSDを用いた一段階検出では、mAPが76.8%から78.1%に向上し、エンドツーエンド学習でも優れた性能を示した。
• アブレーションスタディの結果、デコンボリューションによるアップサンプリングとMADユニットの組み合わせが最高のパフォーマンスを発揮し、MADユニット単体でもmAPが1.3%向上した。

Figure 2: Different network design for region proposals. (a) RPN (Ren et al.,, 2015 ) ; (b) RPN with split anchors; (c) Deeper RPN with split anchors; (d) Zoom out-and-in network adopted in this paper.