[論文レビュー] Can Vision Transformers Perform Convolution?

Shanda Li, Xiangning Chen+2 more|arXiv (Cornell University)|Nov 2, 2021

Advanced Neural Network Applications参考文献 29被引用数 8

ひとこと要約

この論文は、画像パッチを入力として使用する場合、相対的位置エンコーディングを備えた1つのビジョントランスフォーマー（ViT）層と9個以上のアテンションヘッドを備えることで、任意の畳み込み演算を正確に表現できることを証明している。著者らは、この理論的構築に基づき事前学習済みCNNからViTを初期化する二段階のトレーニングパイプラインを提案しており、アーキテクチャの変更なしに低データ環境下での性能を顕著に向上させている。

ABSTRACT

Several recent studies have demonstrated that attention-based networks, such as Vision Transformer (ViT), can outperform Convolutional Neural Networks (CNNs) on several computer vision tasks without using convolutional layers. This naturally leads to the following questions: Can a self-attention layer of ViT express any convolution operation? In this work, we prove that a single ViT layer with image patches as the input can perform any convolution operation constructively, where the multi-head attention mechanism and the relative positional encoding play essential roles. We further provide a lower bound on the number of heads for Vision Transformers to express CNNs. Corresponding with our analysis, experimental results show that the construction in our proof can help inject convolutional bias into Transformers and significantly improve the performance of ViT in low data regimes.

研究の動機と目的

• 画像パッチを入力として使用する場合、ビジョントランスフォーマー（ViT）層が任意の畳み込み演算を正確に表現できるかどうかを検証すること。
• パッチ入力とピクセル入力の設定において、ViTが畳み込みを表現するために必要なアテンションヘッド数の理論的下限を確立すること。
• 低データ環境下での一般化性能を向上させるために、ViTに畳み込みのインダクティブバイアスを注入する実用的なトレーニングパイプラインを開発すること。
• 小規模データセットにおけるViTの表現力の制限がアーキテクチャの問題ではなく、一般化能力の問題であることを示すこと。

提案手法

• 9つのヘッドと相対的位置エンコーディングを備えたマルチヘッド自己注意機構を用いて、画像パッチ上での任意のK×K畳み込みをシミュレートできることを構成的に証明する。
• 9つのヘッドがパッチ入力ViTが畳み込みを表現するために必要かつ十分であることを示す下限を導出する一方で、ピクセル入力ViTにはK²個のヘッドが必要であることを示す。
• 二段階のトレーニングパイプラインを提案：まず理論的構築に基づき事前学習済みCNNからViTの重みを初期化し、次に下流データでファインチューニングする。
• 相対的位置エンコーディングを用いてパッチ間の空間的関係を符号化し、アテンションがパッチ境界を越えて特徴を集約できるようにする。
• 標準のMHSAモジュールを変更せず、既存のViTフレームワークとの互換性を保つ。
• CIFAR-100およびImageNetで実験的に検証し、ランダム初期化されたViTと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 画像パッチを入力として使用する場合、マルチヘッドアテンションと相対的位置エンコーディングを備えた1つのViT層が、任意の畳み込み演算を表現できるか？
• RQ2 パッチ入力およびピクセル入力の設定下で、K×K畳み込みを正確に表現するために必要なViT層の最小アテンションヘッド数は何か？
• RQ3 理論的初期化による畳み込みのインダクティブバイアスの注入は、低データ環境下でのViT性能を向上させられるか？
• RQ4 パッチ入力ViTにおいて、畳み込みを表現する観点から9ヘッド構成はヘッド数の観点で最適か？

主な発見

• 画像パッチを入力として使用する場合、9つのヘッドと相対的位置エンコーディングを備えた1つのViT層は、任意のK×K畳み込みを正確に表現可能であり、局所的受容野を超えるViTの表現力が裏付けられた。
• 理論的構築により、パッチ入力ViTが畳み込みを表現するために9つのヘッドが必要かつ十分であることが示された一方で、ピクセル入力ViTにはK²個のヘッドが必要であることが判明し、パッチベースアーキテクチャのヘッド効率の優位性が明確になった。
• 理論的構築に基づき事前学習済みCNNから初期化する二段階のトレーニングパイプラインは、CIFAR-100およびImageNetの低データ環境下で、テスト精度を顕著に向上させた。
• この方法はトレーニング効率と最適化の安定性を向上させ、アーキテクチャの変更なしにランダム初期化されたモデルを上回る性能を示した。
• 実験結果から、適切なインダクティブバイアスを注入した場合、小規模データセットにおけるViTとCNNの性能差は主に一般化能力の問題に起因し、表現力の問題ではないことが確認された。