[論文レビュー] Dynamic Region-Aware Convolution

Jin Chen, Xijun Wang+3 more|arXiv (Cornell University)|Mar 27, 2020

Advanced Image and Video Retrieval Techniques参考文献 37被引用数 9

ひとこと要約

本論文では、学習可能なガイドマスクを用いて空間的に共有されるフィルタを意味的領域に動的に割り当てる、動的で領域に注意を向ける畳み込み（DRConv）を提案する。これにより、変換不変性と計算効率を保ちながら、特徴表現を向上させることができる。DRConvは、46M FLOPsでImageNetで67.1%のトップ-1正答率を達成し、標準畳み込みと比較して6.3%の相対的改善を示した。

ABSTRACT

We propose a new convolution called Dynamic Region-Aware Convolution (DRConv), which can automatically assign multiple filters to corresponding spatial regions where features have similar representation. In this way, DRConv outperforms standard convolution in modeling semantic variations. Standard convolutional layer can increase the number of filers to extract more visual elements but results in high computational cost. More gracefully, our DRConv transfers the increasing channel-wise filters to spatial dimension with learnable instructor, which not only improve representation ability of convolution, but also maintains computational cost and the translation-invariance as standard convolution dose. DRConv is an effective and elegant method for handling complex and variable spatial information distribution. It can substitute standard convolution in any existing networks for its plug-and-play property, especially to power convolution layers in efficient networks. We evaluate DRConv on a wide range of models (MobileNet series, ShuffleNetV2, etc.) and tasks (Classification, Face Recognition, Detection and Segmentation). On ImageNet classification, DRConv-based ShuffleNetV2-0.5x achieves state-of-the-art performance of 67.1% at 46M multiply-adds level with 6.3% relative improvement.

研究の動機と目的

• 計算コストの増加なしに、空間的意味的変化をモデル化する標準畳み込みの限界を克服すること。
• 各空間的位置に固有のフィルタを割り当てる局所畳み込み手法が引き起こすパラメータの爆発と変換不変性の喪失を克服すること。
• 学習可能なガイドマスクを用いて、サンプル固有の動的フィルタ割り当てを空間的領域全体で実現し、表現力を向上させること。
• アーキテクチャの大幅な見直しを必要とせず、既存のネットワークを強化できるプラグアンドプレイモジュールを設計すること。
• 多様なビジョンタスクにおける性能を大幅に向上させる一方で、計算効率を維持すること。

提案手法

• DRConvは、入力を用いて標準畳み込みによりガイド特徴マップを生成し、そのマップをもとに学習可能なガイドマスクを予測する。このガイドマスクは空間次元をm個の領域に分割する。
• ガイドマスクは領域共有のパターンを決定し、各領域は1つのフィルタを共有する。フィルタ生成モジュールを介して、各領域ごとに動的にフィルタが生成される。
• 各領域は、その空間的領域に対して固有の、サンプル固有のフィルタを適用する。これにより、局所的特徴モデリングが可能になるとともに、変換不変性が保たれる。
• フィルタ生成モジュールは、軽量で学習可能なモジュールであり、空間サイズに依存しないパrameterを有するため、パラメータの増加が最小限に抑えられる。
• タスク損失に基づいてガイドマスクを最適化するように特別に設計された逆伝播により、エンドツーエンドの学習が可能である。
• この手法はプラグアンドプレイであり、MobileNet や ShuffleNetV2 などの効率的なアーキテクチャを含む、任意のネットワークに標準畳み込みの代わりに置き換え可能である。

実験結果

リサーチクエスチョン

• RQ1 計算コストの増加なしに、動的で領域に注意を向けるフィルタ割り当てが、畳み込みネットワークにおける特徴表現を向上させることができるか？
• RQ2 学習可能なガイドマスクが、フィルタの空間的分布とさまざまなタスクにおける性能にどのように影響を与えるか？
• RQ3 DRConvは、標準畳み込みと比較して、小規模かつ効率的なモデルにおいてどれほど性能を向上させるか？
• RQ4 局所畳み込み手法とは異なり、DRConvは空間的に適応的なフィルタリングを可能にしつつ、変換不変性を維持できるか？
• RQ5 パフォーマンスと効率の観点から、ガイドマスクの最適な領域数は何か？

主な発見

• DRConvを搭載したShuffleNetV2-0.5×は、46M FLOPsでImageNetで67.1%のトップ-1正答率を達成し、標準畳み込みと比較して6.3%の相対的改善を示した。
• COCO検出タスクにおいて、2つのFPN層をDRConv（16領域）に置き換えるとAPが1.2%向上し、DetNAS-300Mでは8領域でAPが1.8%向上した。
• COCOインスタンスセグメンテーションにおいて、2つのFPN層にDRConv（16領域）を適用するとAPが1.1%向上した。
• MobileNetV2-0.25× や ShuffleNetV2-0.5× といった小規模モデルは、DRConvにより最も大きな相対的性能向上を示し、大規模モデルよりも顕著な向上が見られた。
• 可視化により、ガイドマスクが意味的に整合性のある領域を学習していることが確認された。深層部では連結した領域が形成され、浅層部では離散的で文脈に敏感な領域が形成された。
• 除去実験の結果、領域数を増やすことで性能が向上することが示され、より細かい空間的特化が特徴学習を強化することがわかった。