[論文レビュー] Large Separable Kernel Attention: Rethinking the Large Kernel Attention Design in CNN

Kin Wai Lau, Lai-Man Po+1 more|arXiv (Cornell University)|Sep 4, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、2次元深度方向畳み込みを連鎖的な1次元水平および垂直カーネルに分解することにより、CNNにおける大規模カーネル注意（LKA）の計算効率の高い代替手法として、大規模分離カーネル注意（LSKA）を提案する。LSKAは、LKAと同等の性能を維持しながら、最大50％のFLOPsおよびメモリ使用量の削減を実現し、画像の形状バイアスおよび劣化したImageNetデータに対するロバスト性を向上させる。

ABSTRACT

Visual Attention Networks (VAN) with Large Kernel Attention (LKA) modules have been shown to provide remarkable performance, that surpasses Vision Transformers (ViTs), on a range of vision-based tasks. However, the depth-wise convolutional layer in these LKA modules incurs a quadratic increase in the computational and memory footprints with increasing convolutional kernel size. To mitigate these problems and to enable the use of extremely large convolutional kernels in the attention modules of VAN, we propose a family of Large Separable Kernel Attention modules, termed LSKA. LSKA decomposes the 2D convolutional kernel of the depth-wise convolutional layer into cascaded horizontal and vertical 1-D kernels. In contrast to the standard LKA design, the proposed decomposition enables the direct use of the depth-wise convolutional layer with large kernels in the attention module, without requiring any extra blocks. We demonstrate that the proposed LSKA module in VAN can achieve comparable performance with the standard LKA module and incur lower computational complexity and memory footprints. We also find that the proposed LSKA design biases the VAN more toward the shape of the object than the texture with increasing kernel size. Additionally, we benchmark the robustness of the LKA and LSKA in VAN, ViTs, and the recent ConvNeXt on the five corrupted versions of the ImageNet dataset that are largely unexplored in the previous works. Our extensive experimental results show that the proposed LSKA module in VAN provides a significant reduction in computational complexity and memory footprints with increasing kernel size while outperforming ViTs, ConvNeXt, and providing similar performance compared to the LKA module in VAN on object recognition, object detection, semantic segmentation, and robustness tests.

研究の動機と目的

• 大規模カーネル深度方向畳み込みによるLKAモジュールにおけるFLOPsおよびメモリ使用量の2次関数的増加を是正すること。
• 計算複雑度を増加させることなく、CNNの注意モジュールに極めて大きなカーネルを適用可能にする。
• 注意メカニズムのインダクティブバイアスを変更することで、モデルのロバスト性および形状バイアスを向上させること。
• LSKAの性能を、LKA、ViTs、およびConvNeXtと比較し、劣化したImageNetおよび下流のビジョンタスクにおけるベンチマークを実施すること。
• 視覚変換器およびCNNに適した、より効率的かつスケーラブルな注意メカニズムを提供すること。

提案手法

• LKAにおける2次元深度方向畳み込みカーネルを、連続的な1次元水平および垂直畳み込みに分解することで、パラメータおよびFLOPの増加を低減する。
• 同じ注意メカニズムをLKAと同一に適用するが、分離カーネルを用い、1×1畳み込みによる特徴の最適化プロセスを維持する。
• 2段階設計を採用：まず小規模なカーネルによる局所的特徴抽出を行い、次に拡張された深度方向分離畳み込みによる長距離依存関係のモデリングを行う。
• 性能および効率に与えるカーネル分解の影響を評価するために、LSKA-trivialおよびLSKAのバリエーションを導入する。
• LKAと同一のトレーニングおよび推論パイプラインを活用し、モデル間の公平な比較を保証する。
• 相互情報量を用いた形状およびテクスチャの次元推定を用い、カーネルサイズおよび分解が引き起こすインダクティブバイアスのシフトを分析する。

実験結果

リサーチクエスチョン

• RQ1 分離カーネル分解は、性能を損なわせることなく、CNNにおける大規模カーネル注意の計算コストを低減できるか？
• RQ2 LSKAの設計は、特徴表現における形状とテクスチャへのモデルのインダクティブバイアスにどのように影響を与えるか？
• RQ3 LSKAは、劣化したImageNetベンチマークにおいて、LKA、ViTs、およびConvNeXtと比較してどのようにロバスト性を示すか？
• RQ4 カーネルサイズの増大が、LSKAにおける有効受容 field および特徴表現に与える影響は何か？LKAと比較して。
• RQ5 分離カーネル設計は、分類、検出、セマンティックセグメンテーションなどのビジョンタスクにおける一般化性能および効率を向上させるか？

主な発見

• LSKAは、カーネルサイズ65において、LKAと比較して最大50％のFLOPs削減を達成し、ImageNetにおけるトップ1精度は0.3％の低下にとどまる。
• LSKAは、画像分類、物体検出、セマンティックセグメンテーションの各タスクでLKAと同等の性能を維持しながら、メモリおよび計算量を顕著に削減する。
• LSKAの設計により、特に大きなカーネルを用いた場合、形状表現へのバイアスが増大することが、形状・テクスチャ次元推定によって示された。
• LSKAは、劣化したImageNetベンチマークの5つのすべてでViTsおよびConvNeXtを上回り、優れたロバスト性を示した。
• LSKAの有効受容 field は、カーネルサイズ35、53、65で飽和し、LKAと同様の安定した長距離モデリングを示した。
• LSKAは、65×65カーネルを用いて、4.07Mパラメータおよび0.85 GFLOPsでImageNetで74.8％のトップ1精度を達成した。一方、LKAは同じカーネルサイズで4.73Mパラメータおよび1.12 GFLOPsを要した。