[論文レビュー] Dynamic Mobile-Former: Strengthening Dynamic Convolution with Attention and Residual Connection in Kernel Space

Seokju Yun, Youngmin Ro|arXiv (Cornell University)|Apr 13, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、動的畳み込みを入力に依存しないカーネルと入力に依存するカーネルに分解し、カーネル空間における残差接続を用いて最適化の安定性を向上させるとともに、軽量なアテンションを用いてカーネル選択をガイドする、軽量なビジョンモデルであるDynamic Mobile-Former (DMF) を提案する。DMFはPVT-Tinyの1/4のFLOPsでImageNet-1Kで79.4%のトップ1精度を達成し、検出およびセグメンテーションタスクにおいて効率性と精度の両面で最先端の性能を示した。

ABSTRACT

We introduce Dynamic Mobile-Former(DMF), maximizes the capabilities of dynamic convolution by harmonizing it with efficient operators.Our Dynamic MobileFormer effectively utilizes the advantages of Dynamic MobileNet (MobileNet equipped with dynamic convolution) using global information from light-weight attention.A Transformer in Dynamic Mobile-Former only requires a few randomly initialized tokens to calculate global features, making it computationally efficient.And a bridge between Dynamic MobileNet and Transformer allows for bidirectional integration of local and global features.We also simplify the optimization process of vanilla dynamic convolution by splitting the convolution kernel into an input-agnostic kernel and an input-dependent kernel.This allows for optimization in a wider kernel space, resulting in enhanced capacity.By integrating lightweight attention and enhanced dynamic convolution, our Dynamic Mobile-Former achieves not only high efficiency, but also strong performance.We benchmark the Dynamic Mobile-Former on a series of vision tasks, and showcase that it achieves impressive performance on image classification, COCO detection, and instanace segmentation.For example, our DMF hits the top-1 accuracy of 79.4% on ImageNet-1K, much higher than PVT-Tiny by 4.3% with only 1/4 FLOPs.Additionally,our proposed DMF-S model performed well on challenging vision datasets such as COCO, achieving a 39.0% mAP,which is 1% higher than that of the Mobile-Former 508M model, despite using 3 GFLOPs less computations.Code and models are available at https://github.com/ysj9909/DMF

研究の動機と目的

• 動的畳み込みにおける最適化の不安定性と表現力の限界を解消するため、カーネル空間学習の見直しを図ること。
• 厳密なFLOPおよびレイテンシ制約下での軽量ビジョンモデルの効率性とパフォーマンスを向上させること。
• 入力に依存しないカーネルと入力に依存するカーネルを分離することで、動的畳み込みのスケーラビリティを向上させること。
• 軽量アテンションから得られるグローバルなコンテキストをカーネルアテンションモジュールに統合し、より良いフィルタ選択を実現すること。
• モバイルおよびリアルタイムビジョンアプリケーションにおける望ましい精度-FLOPsトレードオフを達成すること。

提案手法

• 畳み込みカーネルを入力に依存しない成分と入力に依存する成分に分解することで、最適化の分離とカーネル空間の拡張を実現する。
• 入力に依存するカーネルを入力に依存しないカーネルに残差接続することで、訓練の安定性と最適化の改善を図る。
• シグモイド活性化関数を用いてアテンションスコアを計算することでカーネル空間の容量を向上させ、残差学習による最適化の難易度を相殺する。
• 軽量なグローバルアテンションを用いて顕著なグローバル特徴を抽出し、それらをカーネルアテンションモジュールの入力として使用することで、より良いフィルタ選択を実現する。
• 動的残差畳み込みをグループ畳み込みおよびディープワイド分離畳み込みと組み合わせることで、計算効率を維持する。
• 温度アニーリングと慎重な初期化（例：静的カーネルのゼロ初期化）を用いて訓練の安定性を向上させ、収束性を改善する。

Figure 3 : A Dynamic Residual Convolution layer. Firstly, the global average pooled features of the input and the first global token are concatenated. These concatenated features are then passed through a kernel attention module to generate attention scores ( $\pi$ ) and obtain dynamic convolution w

実験結果

リサーチクエスチョン

• RQ1 カーネル空間の分解と残差学習を用いることで、動的畳み込みをより安定的かつスケーラブルにできるか？
• RQ2 軽量アテンションから得られるグローバルコンテキストを用いることで、動的畳み込みのパフォーマンスはどのように向上するか？
• RQ3 訓練の安定性を損なわせることなく、より大きなカーネル空間を効果的に活用できるか？
• RQ4 活性化関数（シグモイド対ソフトマックス）の選択が、動的畳み込みのパフォーマンスと最適化に与える影響は何か？
• RQ5 提案手法の動的残差畳み込みは、標準的な動的畳み込みと比較して、FLOPs、パラメータ数、精度の面でどのように差がつくか？

主な発見

• DMF-SはImageNet-1Kで79.4%のトップ1精度を達成し、PVT-Tinyより4.3%高いが、FLOPsはその1/4にまで削減された。
• DMF-SはCOCOインスタンスセグメンテーションで39.0%のmAPを達成し、Mobile-Former 508Mモデルを1%上回ったが、計算量は3 GFLOPsも削減された。
• 8つの静的カーネルとシグモイドベースのアテンションスコアを用いたモデルは、カーネル数が少ないモデルやソフトマックス活性化関数を用いたモデルを上回った。
• 静的カーネルのゼロ初期化は、ランダム初期化よりもパフォーマンスを向上させ、カーネル空間における残差学習の利点を裏付けた。
• アブレーションスタディの結果、シグモイド活性化関数と残差接続がモデルの表現力と訓練の安定性を顕著に向上させた。
• DMFは優れた精度-FLOPsトレードオフを示し、リアルタイムおよびモバイルビジョンシナリオにおいて、軽量CNNおよびビジョントランスフォーマーの変種を凌駆した。