[論文レビュー] Representational Strengths and Limitations of Transformers

Clayton Sanford, Daniel Hsu+1 more|arXiv (Cornell University)|Jun 5, 2023

Stochastic Gradient Optimization Techniques被引用数 12

ひとこと要約

本論文はトランスフォーマーにおける自己注意の表現能力の限界と強みを分析し、スパース平均化タスクには埋め込み次元 m がスパース性 q に比例して拡張する必要があること、一方で特定の三重項（Match3）タスクは標準のマルチヘッド注意では依然として難しく、より高次または構造化した変種を用いない限り達成困難であることを示す。

ABSTRACT

Attention layers, as commonly used in transformers, form the backbone of modern deep learning, yet there is no mathematical description of their benefits and deficiencies as compared with other architectures. In this work we establish both positive and negative results on the representation power of attention layers, with a focus on intrinsic complexity parameters such as width, depth, and embedding dimension. On the positive side, we present a sparse averaging task, where recurrent networks and feedforward networks all have complexity scaling polynomially in the input size, whereas transformers scale merely logarithmically in the input size; furthermore, we use the same construction to show the necessity and role of a large embedding dimension in a transformer. On the negative side, we present a triple detection task, where attention layers in turn have complexity scaling linearly in the input size; as this scenario seems rare in practice, we also present natural variants that can be efficiently solved by attention layers. The proof techniques emphasize the value of communication complexity in the analysis of transformers and related models, and the role of sparse averaging as a prototypical attention task, which even finds use in the analysis of triple detection.

研究の動機と目的

• アテンション層の表現力を幅、深さ、埋め込み次元に対して調査する。
• 自己注意の強み（スパース平均化）と制限（対となる相互作用 vs 三重相互作用）を示すタスクを特定する。
• トランスフォーマーの表現力を特徴づける正式なタスクベンチマークを開発する（q-SA、Match2、Match3）。
• 通信複雑性と幾何的構成を用いて attention 基づくモデルの下限と上限を導く。

提案手法

• q-sparse averaging（q-SA）を定義し、入力要素間の相互作用パターンを捉え、埋め込み次元の要件を分析する。
• 埋め込み m ≳ q を用いる注意ユニットが q-SA を近似できることを有限桁精度で示す上限を証明する。
• 集合分離性の還元による下限を確立し、mp が小さすぎる場合に小さい注意アーキテクチャが q-SA を近似できないことを示す。
• 対になる相互作用（Match2）と三重相互作用（Match3）検出タスクを対比し、標準の自己注意が高次の相互作用を表現する能力を評価する。
• 単一の自己注意ユニットは Match2 を効率的に計算できるが、単一のマルチヘッド層は埋め込みサイズまたはヘッド数が poly(N) に増加しない限り Match3 を効率的に計算できない。
• 三次（第三階）注意を Match3 の効率的計算手段として議論し、ヒントがない限りより深いトランスフォーマーは依然として限界があると推測する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み次元が有限に制限された自己注意ユニットは q-sparse averaging を近似できるか、m は q と N にどうスケールするか？
• RQ2 標準的なトランスフォーマーアーキテクチャは対互作用（Match2）および三重互作用（Match3）を効率的に表現できるか、必要なリソースは何か？
• RQ3 三重検出におけるマルチヘッド注意の限界は何か、より高次の注意はこれらの限界を回避できるか？
• RQ4 通信複雑性からの下限はトランスフォーマーの表現限界にどう影響するか？

主な発見

• q-SA は埋め込み m ≳ d' + q log N（有限精度）および m ≳ d' + q（無限精度）を持つ自己注意ユニットにε-近似できる。
• q-SA を近似する任意の全結合NNは最初の隠れ層の幅 Ω(Nd) を必要とする。
• q-SA を近似する任意のRNNは Ω(N)ビットの隠れ状態を必要とする。
• 単一の自己注意ユニットは Match2 を効率的に計算できるが、単一のマルチヘッド注意層は mp や m または H が大きくならない限り Match3 を効率的に計算できない（poly(N)）。
• ローカリティや埋め込み構造の仮定の下で修正された Match3 を効率的に計算でき、一般化された三次注意は Match3 を効率的に計算できる。
• 経験的証拠（付録D）は、注意が RNNs/MLPs よりはるかに少ないサンプル数で q-SA を学習できることを示唆する。