[論文レビュー] Aggregating Nested Transformers.

Zizhao Zhang, Han Zhang+3 more|arXiv (Cornell University)|May 26, 2021

Advanced Neural Network Applications参考文献 64被引用数 56

ひとこと要約

NesTは、重複のない画像ブロックに局所的自己注意機構をネストし、重要ブロック集約関数を介してそれらを統合することで、ブロック間通信を可能にする簡素化された階層的ビジョントランスフォーマーを提案する。この設計により、最大57%のパラメータ削減と高速収束を達成し、1つのGPUで単一のモデルからCIFAR-10で96%の精度に到達する600万パラメータのモデルが、最先端の精度を達成した。

ABSTRACT

Although hierarchical structures are popular in recent vision transformers, they require sophisticated designs and massive datasets to work well. In this work, we explore the idea of nesting basic local transformers on non-overlapping image blocks and aggregating them in a hierarchical manner. We find that the block aggregation function plays a critical role in enabling cross-block non-local information communication. This observation leads us to design a simplified architecture with minor code changes upon the original vision transformer and obtains improved performance compared to existing methods. Our empirical results show that the proposed method NesT converges faster and requires much less training data to achieve good generalization. For example, a NesT with 68M parameters trained on ImageNet for 100/300 epochs achieves $82.3\%/83.8\%$ accuracy evaluated on $224 imes 224$ image size, outperforming previous methods with up to $57\%$ parameter reduction. Training a NesT with 6M parameters from scratch on CIFAR10 achieves $96\%$ accuracy using a single GPU, setting a new state of the art for vision transformers. Beyond image classification, we extend the key idea to image generation and show NesT leads to a strong decoder that is 8$ imes$ faster than previous transformer based generators. Furthermore, we also propose a novel method for visually interpreting the learned model. Source code is available this https URL.

研究の動機と目的

• アーキテクチャの複雑さを最小限に抑えつつ、性能を維持または向上させるために、階層的ビジョントランスフォーマーのアーキテクチャを簡素化すること。
• ネストドトランスフォーマーにおける効果的なブロック間非局所的情報フローを可能にするブロック集約の役割を調査すること。
• ビジョントランスフォーマーモデルにおける強力な汎化性能を達成するためのデータおよびパラメータ要件を低減すること。
• NesTフレームワークを画像生成タスクに拡張し、自己回帰的トランスフォーマーにおける推論速度を向上させること。
• モデルが学習した注意メカニズムの可視化のための新規手法を開発すること。

提案手法

• 重複のない画像パッチに基本的な局所的自己注意モジュールをネストして階層構造を構築する。
• 非隣接な画像ブロック間での長距離依存関係を可能にするブロック集約関数を導入する。
• 元のビジョントランスフォーマーに最小限のアーキテクチャ的変更を加え、注目点を注目ヘッド設計ではなく集約に置く。
• 階層の異なるレベルからの特徴を統合するマルチスケール特徴集約戦略を採用する。
• エンコーダーとデコーダーヘッドの両方で同じアーキテクチャを適用し、画像生成への応用を可能にする。
• 学習済み特徴内の注意パターンとモデル行動を解釈するための新しい可視化手法を提案する。

実験結果

リサーチクエスチョン

• RQ1 ブロック集約関数は、ネストドトランスフォーマーにおけるブロック間情報フローにどのように影響するか？
• RQ2 最小限のアーキテクチャ的変更で、パラメータとデータを減らしても、既存のビジョントランスフォーマーを上回る性能を達成できるか？
• RQ3 CIFAR-10のような小規模データセットで、NesTがどれほど優れた性能を発揮できるか？
• RQ4 NesTアーキテクチャは画像生成タスクに効果的に拡張可能か？また、先行のトランスフォーマーに基づく生成器と比較して、速度と品質の点でどう異なるか？
• RQ5 新規に提案された可視化手法は、NesTモデルが学習した注意パターンを効果的に解釈できるか？

主な発見

• 6800万パラメータのNesTは、100エポックでImageNetで82.3%のトップ1精度、300エポックで83.8%の精度を達成し、最大57%のパラメータ削減で先行手法を上回った。
• CIFAR-10で1つのGPUで学習を開始した600万パラメータのNesTモデルは、96%の精度に到達し、このベンチマークにおけるビジョントランスフォーマーの新たな最先端を樹立した。
• NesTモデルは、特に訓練データが限られた場合に、先行手法よりも高速に収束し、より優れた汎化性能を示した。
• 画像生成に拡張した場合、NesTベースのデコーダーは、従来のトランスフォーマーに基づく生成器と比較して8倍速く、優れた生成品質を維持した。
• 提案されたブロック集約機構は、効果的なブロック間通信を可能にする上で不可欠であり、局所的注意モジュールを単純にスタックするのとは顕著に性能が向上した。
• 新規に提案された可視化手法は、意味のある注意パターンを効果的に特定し、モデルの内部推論の解釈可能性を向上させた。