[論文レビュー] HorNet: Efficient High-Order Spatial Interactions with Recursive Gated Convolutions

Yongming Rao, Wenliang Zhao+4 more|arXiv (Cornell University)|Jul 28, 2022

Advanced Neural Network Applications被引用数 185

ひとこと要約

HorNet は Recursive Gated Convolutions（g^n Conv）を導入し、畳み込みベースの枠組みで高次の入力適応的空間相互作用を実現する。これにより、ImageNet、COCO、ADE20K で vision Transformer や CNN と競合する、あるいはそれを上回る結果を示し、密な予測を強化する HorFPN を備える。

ABSTRACT

Recent progress in vision Transformers exhibits great success in various tasks driven by the new spatial modeling mechanism based on dot-product self-attention. In this paper, we show that the key ingredients behind the vision Transformers, namely input-adaptive, long-range and high-order spatial interactions, can also be efficiently implemented with a convolution-based framework. We present the Recursive Gated Convolution ($ extit{g}^ extit{n}$Conv) that performs high-order spatial interactions with gated convolutions and recursive designs. The new operation is highly flexible and customizable, which is compatible with various variants of convolution and extends the two-order interactions in self-attention to arbitrary orders without introducing significant extra computation. $ extit{g}^ extit{n}$Conv can serve as a plug-and-play module to improve various vision Transformers and convolution-based models. Based on the operation, we construct a new family of generic vision backbones named HorNet. Extensive experiments on ImageNet classification, COCO object detection and ADE20K semantic segmentation show HorNet outperform Swin Transformers and ConvNeXt by a significant margin with similar overall architecture and training configurations. HorNet also shows favorable scalability to more training data and larger model sizes. Apart from the effectiveness in visual encoders, we also show $ extit{g}^ extit{n}$Conv can be applied to task-specific decoders and consistently improve dense prediction performance with less computation. Our results demonstrate that $ extit{g}^ extit{n}$Conv can be a new basic module for visual modeling that effectively combines the merits of both vision Transformers and CNNs. Code is available at https://github.com/raoyongming/HorNet

研究の動機と目的

• 標準的な畳み込みや自己注意を超える視覚モデルにおける高次の空間相互作用の研究を動機づける。
• 有界計算量で任意次数の空間相互作用を実現する畳み込みメカニズム（g^n Conv）を提案する。
• 自己注意を g^n Conv に置換して HorNet のバックボーンを構築し、分類・検出・セマンティックセグメンテーションのタスクで検証する。

提案手法

• 入力適応的な空間混合を可能にするゲート付き畳み込み（g Conv）を導入する。
• 粗から細へのチャンネル割り当てと単一の深さ方向畳み込み路路を用いて、n次の空間相互作用を実現する再帰的ゲート付き畳み込み（g^n Conv）を開発する（Equation 3.3–3.5）。
• FLOPs(g^n Conv) < HWC(2K^2 + 11/3 C + 2) を示す有界FLOPs解析を提供する。
• 7×7 カーネルまたは Global Filter（GF）層による長距離相互作用をサポートし、広い受容野を可能にする。
• 自己注意ブロックを g^n Conv に置換して HorNet バックボーンを構築し、密な予測タスクでの特徴融合のために HorFPN のバリアントを構築する。

実験結果

リサーチクエスチョン

• RQ1 g^n Conv は有界計算コストで任意次数の空間相互作用を実現できるか？
• RQ2 同等のアーキテクチャと訓練設定の下で、HorNet バックボーンは Swin Transformer および ConvNeXt を上回るか？
• RQ3 HorFPN のバリアントは密な予測タスク（セマンティックセグメンテーションと物体検出）を、より低い FLOPs で改善するか？
• RQ4 g^n Conv アプローチは、より大規模なデータとモデルサイズ（ImageNet-22K の事前学習）で拡張可能か？

主な発見

• HorNet バリアントは、ImageNet 分類、COCO 物体検出、ADE20K セマンティックセグメンテーションの類似設定下で、Swin Transformer および ConvNeXt を一貫して上回る。
• ImageNet-22K の事前学習を用いると、HorNet-L は ImageNet で 87.7% top-1、ADE20K の val で 57.9% mIoU、COCO val で 59.2% box AP を達成。
• HorFPN は標準の 3×3 畳み込みを g^n Conv に置換して特徴融合を行い、セマンティックセグメンテーションと物体検出で FLOPs の顕著な削減とともに改善をもたらす。
• HorNet-L 7×7 および HorNet-L GF は ConvNeXt-XL を上回り、セマンティックセグメンテーションのベンチマークで約 25% 少ない FLOPs である。
• GF バリアントは複数のタスクで一般的に 7×7 バリアントより良い性能を示し、グローバルな相互作用を取り入れる利点を強調している。