[論文レビュー] Beyond Skip Connections: Top-Down Modulation for Object Detection

Abhinav Shrivastava, Rahul Sukthankar+2 more|arXiv (Cornell University)|Dec 20, 2016

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 336

ひとこと要約

Top-Down Modulation (TDM) ネットワークを導入し、下向きの ConvNets にトップダウン経路と横方向接続を追加して細部を保持し、COCO の物体検出を改善します。

ABSTRACT

In recent years, we have seen tremendous progress in the field of object detection. Most of the recent improvements have been achieved by targeting deeper feedforward networks. However, many hard object categories such as bottle, remote, etc. require representation of fine details and not just coarse, semantic representations. But most of these fine details are lost in the early convolutional layers. What we need is a way to incorporate finer details from lower layers into the detection architecture. Skip connections have been proposed to combine high-level and low-level features, but we argue that selecting the right features from low-level requires top-down contextual information. Inspired by the human visual pathway, in this paper we propose top-down modulations as a way to incorporate fine details into the detection framework. Our approach supplements the standard bottom-up, feedforward ConvNet with a top-down modulation (TDM) network, connected using lateral connections. These connections are responsible for the modulation of lower layer filters, and the top-down network handles the selection and integration of contextual information and low-level features. The proposed TDM architecture provides a significant boost on the COCO testdev benchmark, achieving 28.6 AP for VGG16, 35.2 AP for ResNet101, and 37.3 for InceptionResNetv2 network, without any bells and whistles (e.g., multi-scale, iterative box refinement, etc.).

研究の動機と目的

• 初期 CNN 層からの細かな特徴を物体検出の正確性のために保持する必要性を動機づける。
• 下位層へ高レベル文脈を選択的に伝えるトップダウン調整フレームワークを提案する。
• TDM を標準の検出パイプラインと統合してエンドツーエンドの学習可能性を実証する。
• 複数のバックボーンアーキテクチャ上で COCO で一貫した利得を示す。

提案手法

• トップダウンモジュレーション（TDM）ネットワークを、側路モジュールを介して接続された下向きConvNetに追加する。
• 側路モジュールを用いて下向き特徴を変換し、トップダウンモジュールを用いて文脈を低レベルの特徴と融合・アップサンプルする。
• Faster R-CNN フレームワーク内でエンドツーエンドに学習可能な TDM 強化検出器を訓練する。
• RPN/RCN ヘッドと互換性を確保しつつ、表現サイズを制御するため T, L, T_out モジュールの容量を変える。
• 訓練中、上位層から下位層へ順次 TDM ペア（L_i, T_{i+1,i}）を追加する。
• TDM が VGG16、ResNet101、InceptionResNetv2 のバックボーンで検出を改善することを示し、アブレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 トップダウンモジュレーションは初期の CNN 層からの細かなディテールを保持することで物体検出の性能を向上させるか。
• RQ2 トップダウンモジュールと横方向モジュールは性能を最大化するためにどのように設計すべきか（容量、配置、アップサンプリング）。
• RQ3 TDM は Faster R-CNN のような既存検出器とともにエンドツーエンドで多様なバックボーンで学習可能か。
• RQ4 TDM が小サイズ物体と定位精度（AP、AP75）に与える影響はバックボーン間でどう現れるか。

主な発見

• TDM はバックボーン全体で大幅な AP 増加をもたらす：VGG16 + TDM は 28.6 AP、ベースラインは 23.3 AP。
• ResNet101 + TDM は 35.2 AP、ベースラインは 31.5 AP。
• InceptionResNetv2 + TDM は 37.3 AP、ベースラインは 34.7 AP。
• COCO testdev で、IRNv2 を用いた TDM は 37.3 AP を達成し、その時点での単一モデル結果として最良。
• TDM は小型物体検出（AP^S）と位置決定（AP^75）をさまざまなアーキテクチャで顕著に改善。
• アブレーションから、トップダウン文脈の取り込みと低レベル特徴の選択的モジュレーションの利点が示される。