[論文レビュー] OmniNet: Omnidirectional Representations from Transformers

Yi Wei Daniel Tay, Mohammad Dehghani+7 more|arXiv (Cornell University)|Mar 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 9

ひとこと要約

OmniNetは、メタラーナーに基づくオムニディレクショナルアテンション機構を用いて、ネットワークの全レイヤーにわたるすべての隠れ表現に各トークンが注目できる、新しいトランスフォーマー構造を導入する。効率的なアテンション機構（例：Performer）および低ランク近似を活用することで、言語モデリング、機械翻訳、長距離シーケンスタスク、画像認識において最先端の性能を達成し、少数の例で分類する画像分類タスクではViTを最大3%上回る性能を発揮する。

ABSTRACT

This paper proposes Omnidirectional Representations from Transformers (OmniNet). In OmniNet, instead of maintaining a strictly horizontal receptive field, each token is allowed to attend to all tokens in the entire network. This process can also be interpreted as a form of extreme or intensive attention mechanism that has the receptive field of the entire width and depth of the network. To this end, the omnidirectional attention is learned via a meta-learner, which is essentially another self-attention based model. In order to mitigate the computationally expensive costs of full receptive field attention, we leverage efficient self-attention models such as kernel-based (Choromanski et al.), low-rank attention (Wang et al.) and/or Big Bird (Zaheer et al.) as the meta-learner. Extensive experiments are conducted on autoregressive language modeling (LM1B, C4), Machine Translation, Long Range Arena (LRA), and Image Recognition. The experiments show that OmniNet achieves considerable improvements across these tasks, including achieving state-of-the-art performance on LM1B, WMT'14 En-De/En-Fr, and Long Range Arena. Moreover, using omnidirectional representation in Vision Transformers leads to significant improvements on image recognition tasks on both few-shot learning and fine-tuning setups.

研究の動機と目的

• 標準的なトランスフォーマーがシーケンス方向（水平方向）および局所的（レイヤー単位）の文脈に限定された受容 field の制限を解消すること。
• すべてのレイヤーにわたるすべてのトークンに注目できるようにアテンションを拡張することで、表現学習およびモデル性能が向上するかを調査すること。
• 効率的なアテンション機構とパーティショニングされたメタラーニングを用いて、フルネットワークアテンションの高い計算コストを軽減すること。
• オムニディレクショナル表現の影響が言語モデリング、機械翻訳、長距離推論、画像認識など多様なタスクに与える影響を評価すること。
• OmniNetの性能と計算量のトレードオフを分析し、Pareto最適性を示すこと。

提案手法

• OmniNetは、ネットワーク内の全レイヤーおよび全トークンのすべての隠れ表現を処理する別個の自己アテンションモジュール（メタラーナー）を採用する。
• 計算コストを低減するために、カーネルベースのアテンション（例：Performer）、低ランクアテンション、またはブロックスパースアテンション（例：Big Bird）などの効率的なアテンション機構をメタラーナーが使用する。
• メタラーナーは、連続するP個のレイヤーを一度に処理するパーティショニングされたブロック（例：P=4,6,12）で動作する。
• オムニディレクショナルアテンションの後、各トークンについて全レイヤーからの最も関連性の高い値をプーリング操作で選択し、表現の豊かさを向上させる。
• この手法は、自己回帰的言語モデルおよびビジョントランスフォーマー（ViT）の両方へ適用され、レイヤー間の知識統合を可能にする。
• アーキテクチャは標準的な目的関数に従ってエンドツーエンドで学習され、メタラーナーは微分可能であるため、すべてのレイヤーに勾配が流れ込む。

実験結果

リサーチクエスチョン

• RQ1 すべてのレイヤーにわたるすべてのトークンを含むように受容 field をシーケンスおよびレイヤー次元を越えて拡張することで、モデル性能が向上するか？
• RQ2 フルネットワークアテンションの2次関数的計算コストを、表現の向上を保ちながらどのように軽減できるか？
• RQ3 複数の階層的レイヤーからの表現統合が、特に少数の例での学習や長距離シーケンスモデリングにおいて一般化性能を向上させるか？
• RQ4 多様なタスクにおける精度と効率の観点から、OmniNetは最先端モデルと比較してどのように差をつけるか？
• RQ5 性能と計算コストのバランスを最適化する観点から、メタラーナーの最適なパーティションサイズは何か？

主な発見

• OmniNetは、LM1B言語モデリングベンチマークで、Transformer-XLなど既存のモデルを上回る最先端の結果を達成した。
• WMT’14英語＝ドイツ語および英語＝フランス語翻訳タスクでは、当時最先端とされた60層のADMINモデルを上回った。
• Long Range Arenaベンチマークでは、Performerに対して+8.9%、汎用トランスフォーマーに対して+2.6%の性能向上を達成した。
• ImageNetでは、少数の例で線形プローブおよび微調整を行う状況で、ViTの性能を最大約3%向上させた。
• パーティションサイズP=6のとき、OmniNetは性能と計算コストのバランスが最良となり、P=4およびP=12を上回る精度/FLOP比を達成した。
• 可視化の結果、プーリング機構が主に初期レイヤーからの情報を抽出していることが示され、微細な特徴が最終表現に効果的に伝わっていることがわかった。