[論文レビュー] Deformable ConvNets v2: More Deformable, Better Results

Xizhou Zhu, Han Hu+2 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Neural Network Applications参考文献 34被引用数 181

ひとこと要約

本論文は Deformable ConvNets v2 (DCNv2) を提示する。これはデフォーマブルサンプリングを、より多くのデフォーマブル層とモジュレーション機構、さらにトレーニング目標を模倣する特徴を加えることで強化し、COCO における物体検出とインスタンス分割で大きな改善を達成する。

ABSTRACT

The superior performance of Deformable Convolutional Networks arises from its ability to adapt to the geometric variations of objects. Through an examination of its adaptive behavior, we observe that while the spatial support for its neural features conforms more closely than regular ConvNets to object structure, this support may nevertheless extend well beyond the region of interest, causing features to be influenced by irrelevant image content. To address this problem, we present a reformulation of Deformable ConvNets that improves its ability to focus on pertinent image regions, through increased modeling power and stronger training. The modeling power is enhanced through a more comprehensive integration of deformable convolution within the network, and by introducing a modulation mechanism that expands the scope of deformation modeling. To effectively harness this enriched modeling capability, we guide network training via a proposed feature mimicking scheme that helps the network to learn features that reflect the object focus and classification power of R-CNN features. With the proposed contributions, this new version of Deformable ConvNets yields significant performance gains over the original model and produces leading results on the COCO benchmark for object detection and instance segmentation.

研究の動機と目的

• 元の DCNv1 を超えるオブジェクトの幾何変動のより良いモデリングを促進する。
• デフォーマブル層を積み上げ、モジュレーション機構を導入してモデリング能力を高める。
• R-CNN の特徴に触発された教師ありガイド付きの特徴模倣損失を通じて、強化されたモデルの効果的な訓練を導く。
• COCO上のバックボーン全体で Faster R-CNN および Mask R-CNN 内で DCNv2 の互換性と性能向上を示す。

提案手法

• ResNet-50 の conv3–conv5 ステージ全体で、より多くの 3x3 畳み込み層をデフォーマブル対応に置換してデフォーマブルモデリングを深める。
• 各サンプリング位置に学習された振幅を割り当てるモジュレーション機構を導入し、サンプルの選択的な強調や抑制を可能にする。
• RoI 内の文脈集約をより適切に制御するため、モジュレーションを用いたデフォーマブル RoI プーリングを拡張する。
• 切り出しコンテンツ上で R-CNN が学習した焦点化された表現に向けて各 RoI の特徴を押し出す R-CNN feature mimicking loss を組み込む。
• Faster R-CNN や Mask R-CNN のような既存アーキテクチャとの互換性を保つため、軽量なデフォーマブルモジュールを維持する。

実験結果

リサーチクエスチョン

• RQ1 デフォーマブルサンプリングを拡張およびモジュレーションすることで、背景コンテンツの過度な干渉を避けつつ、物体の幾何に対する感度を向上させることができるか？
• RQ2 複数の ResNet ステージにまたがってデフォーマブル層を積み重ねることで、DCNv1 と比較して COCO で一貫した利得を生むか？
• RQ3 特徴模倣目的が DCNv2 の物体に焦点を当てた表現学習を R-CNN の特徴に似たものに導くのに役立つか？
• RQ4 COCO における検出と分割のための一般的なバックボーン（例えば ResNet-50/101、ResNeXt-101 など）で DCNv2 はどのようなパフォーマンスを示すか？

主な発見

• 変形モデリングを強化することにより、Faster R-CNN および Mask R-CNN の両方で COCO における精度が DCNv1 より大きく向上する。
• モジュレーション付きデフォーマブル成分は、基本的なデフォーマブルモジュールを上回る追加改善をもたらし、境界ボックスとマスクの性能を向上させる。
• R-CNN feature mimicking は、特に正の RoI に対して、RoI ごとの特徴をさらに高め、物体前景へのフォーカスを促進する。
• conv3–conv5 ステージとモジュレーション RoI プーリングを組み合わせた DCNv2 の適用は、元の deformable セットアップに対してバックボーンを問わず顕著な性能向上をもたらす。
• 推論コストを増やさず、軽量な追加パラメータと蒸留に類似した信号を通じて訓練上の利点が得られる。