[論文レビュー] So-ViT: Mind Visual Tokens for Vision Transformer.

Jiangtao Xie, Ruiren Zeng+3 more|arXiv (Cornell University)|Apr 22, 2021

Advanced Neural Network Applications参考文献 14被引用数 11

ひとこと要約

So-ViTは、クラストークンに加えて視覚トークンの2次相互共分散プーリングを活用し、軽量で階層的な畳み込みベースのトークン埋め込みモジュールを導入することで、ImageNet-1Kで事前学習なしに訓練した場合の性能を向上させる、新しいビジョントランスフォーマー・アーキテクチャを提案する。この手法は、事前学習なしでImageNet-1Kで最先端の精度を達成し、ViTの変種やCNNを上回る性能を発揮する。

ABSTRACT

Recently the vision transformer (ViT) architecture, where the backbone purely consists of self-attention mechanism, has achieved very promising performance in visual classification. However, the high performance of the original ViT heavily depends on pretraining using ultra large-scale datasets, and it significantly underperforms on ImageNet-1K if trained from scratch. This paper makes the efforts toward addressing this problem, by carefully considering the role of visual tokens. First, for classification head, existing ViT only exploits class token while entirely neglecting rich semantic information inherent in high-level visual tokens. Therefore, we propose a new classification paradigm, where the second-order, cross-covariance pooling of visual tokens is combined with class token for final classification. Meanwhile, a fast singular value power normalization is proposed for improving the second-order pooling. Second, the original ViT employs the naive embedding of fixed-size image patches, lacking the ability to model translation equivariance and locality. To alleviate this problem, we develop a light-weight, hierarchical module based on off-the-shelf convolutions for visual token embedding. The proposed architecture, which we call So-ViT, is thoroughly evaluated on ImageNet-1K. The results show our models, when trained from scratch, outperform the competing ViT variants, while being on par with or better than state-of-the-art CNN models. Code is available at this https URL

研究の動機と目的

• ImageNet-1Kで事前学習に強く依存するが、事前学習なしで訓練した場合のビジョントランスフォーマーの性能が低いという問題に対処する。
• ViTのクラストークンの限界を克服し、高レベルの視覚トークンに含まれる豊富な意味的情報を活用する。
• 局所性と翻訳等変性をモデル化する階層的で畳み込みベースの埋め込みモジュールを導入することで、トークン表現学習を向上させる。
• 2次プーリングの計算効率と安定性を向上させるために、高速な正規化手法を開発する。
• ImageNet-1Kの事前学習なしで、最先端のCNNやViTの変種と同等またはそれを上回る精度を達成する。

提案手法

• すべての視覚トークンの2次相互共分散プーリングを組み合わせた新しい分類ヘッドを提案し、トークン間の関係を捉える。
• 2次プーリング操作の安定性と高速化を図るため、高速な特異値パワー正規化法を導入する。
• 従来の固定サイズのパッチ埋め込みを置き換えるための軽量で階層的な畳み込みモジュールを設計する。これにより、局所パターンと翻訳等変性のモデル化が向上する。
• 階層的な畳み込み埋め込みモジュールをViTのバックボーンに統合し、入力画像からより情報量の多い視覚トークンを生成する。
• ImageNet-1Kで事前学習なしに、完全にエンドツーエンドでSo-ViTモデルを訓練する。
• 学習可能なクラストークンを用い、すべての視覚トークンに注目させる。最終的な予測は、プールドされた視覚トークン特徴とクラストークンから得られる。

実験結果

リサーチクエスチョン

• RQ1 クラストークン以外の高レベルの視覚トークンを活用することで、ゼロショットおよび事前学習なしのViT性能が向上するか？
• RQ2 視覚トークンの2次相互共分散プーリングは、画像分類のための判別的特徴を効果的に捉えられるか？
• RQ3 軽量な畳み込みモジュールは、ViTの自己注意メカニズムの効率を保ちながら、視覚トークン表現学習を向上させられるか？
• RQ4 提案された高速な特異値パワー正規化は、2次プーリングの安定性と速度を向上させるか？
• RQ5 事前学習なしで訓練したViTの変種は、ImageNet-1Kで最先端のCNNの性能に達するか、それを上回るか？

主な発見

• So-ViTは、事前学習なしでImageNet-1Kで最先端の精度を達成し、既存のViTの変種を上回る。
• 提案された2次相互共分散プーリングは、高レベルの視覚トークンに含まれる豊富な意味的情報を活用することで、分類性能を顕著に向上させる。
• 階層的な畳み込み埋め込みモジュールは、局所的なインダクティブバイアスと翻訳等変性を強化し、より良い特徴表現を実現する。
• 高速な特異値パワー正規化により、2次プーリングが効率的かつ安定に実行され、学習収束が改善される。
• So-ViTは、事前学習なしで、最先端のCNNモデルと同等またはそれ以上の性能を発揮する。
• アブレーションスタディの結果、プールドされた視覚トークンヘッドと階層的埋め込みの両方が、最終的な精度向上に顕著な寄与をしていることが確認された。