[論文レビュー] Transformer in Convolutional Neural Networks

Yun Liu, Guolei Sun+4 more|arXiv (Cornell University)|Jun 6, 2021

Advanced Neural Network Applications参考文献 62被引用数 46

ひとこと要約

本稿では、空間グリッド全体にわたり特徴の関係性を階層的に学習することで、ビジョントランスフォーマーにおける計算複雑度を低減する手法である階層的マルチヘッド自己注意（H-MHSA）を提案する。小さな画像パッチを段階的に大きなグリッドに統合し、各グループを1つのトークンとして扱うことで、H-MHSAは高い精度を維持したまま効率的な注意計算を可能にする。これにより、新しいCNNバックボーンアーキテクチャであるTransCNNが構築され、画像認識性能において最先端の性能を達成した。

ABSTRACT

We tackle the low-efficiency flaw of vision transformer caused by the high computational/space complexity in Multi-Head Self-Attention (MHSA). To this end, we propose the Hierarchical MHSA (H-MHSA), whose representation is computed in a hierarchical manner. Specifically, our H-MHSA first learns feature relationships within small grids by viewing image patches as tokens. Then, small grids are merged into larger ones, within which feature relationship is learned by viewing each small grid at the preceding step as a token. This process is iterated to gradually reduce the number of tokens. The H-MHSA module is readily pluggable into any CNN architectures and amenable to training via backpropagation. We call this new backbone TransCNN, and it essentially inherits the advantages of both transformer and CNN. Experiments demonstrate that TransCNN achieves state-of-the-art accuracy for image recognition. Code and pretrained models are available at this https URL. This technical report will keep updating by adding more experiments.

研究の動機と目的

• ビジョントランスフォーマーにおけるマルチヘッド自己注意（MHSA）の高い計算およびメモリ複雑度に対処すること。
• 代表的表現力は維持しつつ計算負荷を低減するより効率的な注意メカニズムを設計すること。
• アーキテクチャの大幅な見直しを伴わずに、新しいメカニズムをCNNアーキテクチャに統合すること。
• ハイブリッドCNN-トランスフォーマーのバックボーンを用いて、画像認識分野で最先端の精度を達成すること。
• 提案されたアーキテクチャに対して、誤差逆伝搬法によるエンドツーエンドの学習を可能にすること。

提案手法

• H-MHSAは、まず小さな画像パッチを局所グリッド内のトークンとして処理することで、階層的に注意を計算する。
• 局所グリッド内での関係性を学習した後、隣接する小さなグリッドが統合され、より大きなグリッドが形成され、次の段階の注意計算ではそれらを1つのトークンとして扱う。
• この階層的な統合により、各段階でトークン数が減少し、計算複雑度が段階的に低減される。
• H-MHSAモジュールは、既存のCNNアーキテクチャに即座に統合可能であり、その誘導的バイアスを保持する。
• 完全なアーキテクチャであるTransCNNは、CNNの特徴抽出と階層的自己注意を組み合わせ、より優れた表現学習を実現する。
• モデルは標準的な誤差逆伝搬法を用いてエンドツーエンドで学習され、CNNと注意モジュールの共同最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 階層的注意メカニズムは、性能を損なわずにビジョントランスフォーマーにおける自己注意の計算コストを低減できるか？
• RQ2 H-MHSAにおける階層的特徴集約は、標準的なMHSAと比較して、効率性と精度の面でどのように異なるか？
• RQ3 CNN-トランスフォーマーのハイブリッドバックボーン、たとえばTransCNNは、純粋なCNNやビジョントランスフォーマーのモデルをどの程度上回るか？
• RQ4 H-MHSAモジュールは、標準的なCNNの学習パイプラインおよび誤差逆伝搬法と互換性があるか？
• RQ5 階層的トークン統合の影響は、表現品質およびモデルの一般化能力にどのような影響を与えるか？

主な発見

• TransCNNは、画像認識ベンチマークで最先端の精度を達成し、既存のモデルを上回った。
• 階層的注意メカニズムは、標準的なMHSAと比較して顕著に計算複雑度を低減した。
• H-MHSAは、グリッド統合による段階的トークン数の削減により、効率的な注意計算を可能にした。
• 提案されたTransCNNアーキテクチャは、標準的なCNNの学習および誤差逆伝搬法と互換性がある。
• 性能向上の実証を通じて、効率性を向上させつつも強力な表現能力を維持した。
• コードおよび事前学習済みモデルは公開されており、再現性およびさらなる研究を支援する。