[論文レビュー] Vision Xformers: Efficient Attention for Image Classification

Pranav Jeevan, Amit Sethi|arXiv (Cornell University)|Jul 5, 2021

Advanced Neural Network Applications参考文献 18被引用数 12

ひとこと要約

本稿では、Vision Transformer (ViT) のアーキテクチャを変更した Vision X-formers (ViX) を提案する。この手法は、2次的な自己注意機構に代えて線形注意機構（例：Performer, Linformer, Nyströmformer）を採用し、誘導的バイアスをもたらす畳み込み型埋め込み層を統合し、回転位置埋め込み（RoPE）を採用する。これらの変更により、GPUメモリ使用量が最大7倍まで削減され、特に小規模データセットにおいては画像分類の精度を維持または向上させる。これにより、リソース制約のある環境でもトランスフォーマーがより利用しやすくなる。

ABSTRACT

Although transformers have become the neural architectures of choice for natural language processing, they require orders of magnitude more training data, GPU memory, and computations in order to compete with convolutional neural networks for computer vision. The attention mechanism of transformers scales quadratically with the length of the input sequence, and unrolled images have long sequence lengths. Plus, transformers lack an inductive bias that is appropriate for images. We tested three modifications to vision transformer (ViT) architectures that address these shortcomings. Firstly, we alleviate the quadratic bottleneck by using linear attention mechanisms, called X-formers (such that, X in {Performer, Linformer, Nyströmformer}), thereby creating Vision X-formers (ViXs). This resulted in up to a seven times reduction in the GPU memory requirement. We also compared their performance with FNet and multi-layer perceptron mixers, which further reduced the GPU memory requirement. Secondly, we introduced an inductive bias for images by replacing the initial linear embedding layer by convolutional layers in ViX, which significantly increased classification accuracy without increasing the model size. Thirdly, we replaced the learnable 1D position embeddings in ViT with Rotary Position Embedding (RoPE), which increases the classification accuracy for the same model size. We believe that incorporating such changes can democratize transformers by making them accessible to those with limited data and computing resources.

研究の動機と目的

• Vision Transformer (ViT) の2次的自己注意の計算コストとメモリ使用量の高さを是正すること。
• 畳み込み型埋め込み層による誘導的バイアスの導入により、限られたデータでのViTの画像分類精度を向上させること。
• 学習可能な1次元位置埋め込みを回転位置埋め込み（RoPE）に置き換えることで、モデルの汎化性能と性能を向上させること。
• これらのアーキテクチャ的変更が、LeViT, CCT, CvT, PiT, FNet, MLPミキサーなど、さまざまなトランスフォーマー基盤のビジョンモデルに普遍的に適用可能であることを示すこと。
• データと計算リソースの要件を大幅に削減しつつ高い性能を達成できるように、ビジョントランスフォーマーを民主化すること。

提案手法

• ViTにおける標準的な自己注意機構を、Performer, Linformer, Nyströmformerなどの線形注意機構に置き換えることで、計算複雑度をO(n²)からO(n)に低減する。
• 初期の線形パッチ埋め込み層を畳み込み層のスタックに置き換えることで、2次元画像構造に対する誘導的バイアスを提供する。
• 学習可能な1次元位置埋め込みを、相対的な位置情報をより効果的に符号化し、シーケンス長にわたって一般化性が高いとされる回転位置埋め込み（RoPE）に置き換える。
• 低データおよび低GPUメモリ環境下で、標準的な画像分類ベンチマーク（例：ImageNet）に対して、変更を加えたViXモデルを訓練および評価する。
• 提案された変更をLeViT, CCT, CvT, PiTなどの他のビジョントランスフォーマー・アーキテクチャおよびFNet, MLPミキサーなどの効率的モデルに拡張し、汎用性を評価する。
• すべてのバリアントについて、パフォーマンスとリソース使用量（GPUメモリ、FLOPs、推論時間）を比較し、効率性の向上を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 2次的な自己注意機構を線形注意機構に置き換えることで、画像分類の精度を損なわず、GPUメモリ使用量と計算コストを著しく削減できるか？
• RQ2 線形埋め込み層を畳み込み層に置き換えることで、2次元の誘導的バイアスを導入し、画像分類精度が向上するか？
• RQ3 特にデータが少ない環境において、回転位置埋め込み（RoPE）が学習可能な1次元位置埋め込みを上回る性能を示せるか？
• RQ4 これらのアーキテクチャ的変更が、さまざまなビジョントランスフォーマー・アーキテクチャおよびFNetやMLPミキサーのような効率的モデルにどの程度一般化可能か？
• RQ5 これらの変更により、大幅にデータとハードウェア要件を削減しつつ、画像分類で最先端のパフォーマンスを達成できるか？

主な発見

• ViXに線形注意機構（例：Performer, Nyströmformer）を適用することで、標準的なViTと比較してGPUメモリ使用量が最大7倍まで削減され、精度は同等または向上した。
• 線形埋め込み層を畳み込み層に置き換えることで、モデルサイズを小さくし、学習データを減らしても画像分類精度が顕著に向上した。これは2次元の誘導的バイアスの有効性を示している。
• 回転位置埋め込み（RoPE）を採用することで、モデルパラメータ数を増やさず、かつメモリ使用量を著しく増加させることなく、学習可能な1次元位置埋め込みよりも分類精度が向上した。
• 提案された変更はLeViT, CCT, CvT, PiTなど複数のビジョントランスフォーマー・アーキテクチャに効果的であり、広範な適用可能性と一貫した性能向上を示した。
• FNetやMLPミキサーのモデルに対しても変更が有効であり、FNetでは畳み込み型埋め込みを組み合わせることで顕著な精度向上が見られたが、MLPミキサーはこのようなハイブリッド設計から利益を得なかった。
• 線形注意、畳み込み型埋め込み、RoPEの組み合わせにより、データと計算リソースの要件を大幅に削減しつつ、高い性能の画像分類が可能となり、リソース制約のある環境でのトランスフォーマーの利用がより可能になった。