[論文レビュー] What comes after transformers? -- A selective survey connecting ideas in deep learning

Johannes Schneider|arXiv (Cornell University)|Aug 1, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は、トランスフォーマーを超えた最近のディープラーニングの革新を概説し、状態空間モデル、キャプセルネットワーク、および新しいレイヤー設計といった代替アーキテクチャに焦点を当てる。成功した進展を統一する共通の設計パターン—例えば、マルチ-X、高次元レイヤー、データ制御ゲーティング、移動平均、行列分解—が同定され、それらは現在のトランスフォーマー・パラダイムを超える破壊的で非累進的な進歩を促進する。

ABSTRACT

Transformers have become the de-facto standard model in artificial intelligence since 2017 despite numerous shortcomings ranging from energy inefficiency to hallucinations. Research has made a lot of progress in improving elements of transformers, and, more generally, deep learning manifesting in many proposals for architectures, layers, optimization objectives, and optimization techniques. For researchers it is difficult to keep track of such developments on a broader level. We provide a comprehensive overview of the many important, recent works in these areas to those who already have a basic understanding of deep learning. Our focus differs from other works, as we target specifically novel, alternative potentially disruptive approaches to transformers as well as successful ideas of recent deep learning. We hope that such a holistic and unified treatment of influential, recent works and novel ideas helps researchers to form new connections between diverse areas of deep learning. We identify and discuss multiple patterns that summarize the key strategies for successful innovations over the last decade as well as works that can be seen as rising stars. Especially, we discuss attempts on how to improve on transformers covering (partially) proven methods such as state space models but also including far-out ideas in deep learning that seem promising despite not achieving state-of-the-art results. We also cover a discussion on recent state-of-the-art models such as OpenAI's GPT series and Meta's LLama models and, Google's Gemini model family.

研究の動機と目的

• ディープラーニングにおいてトランスフォーマーに取って代わるか、それらを凌駕する可能性を秘めた、有望な非トランスフォーマー型のアーキテクチャおよびコンponentsを同定・統合すること。
• 最近のディープラーニングの進展において、その成功を説明する共通の設計パターンを解明すること。
• 研究者に、タスク特化型の調査にとどまらない、モデルアーキテクチャ、レイヤー、最適化に関する最近のブレークスルーを包括的かつ統合的に概説すること。
• 実証済みの手法（例：状態空間モデル）と、まだSOTAではないが将来のインパクトを秘めた革新的なアイデアを両方とも強調すること。
• 共通の設計原理を通じてNLP、コンピュータビジョン、一般ディープラーニングの分野をつなげることで、新規の研究を刺激すること。

提案手法

• 2016年以降の影響力のある論文を統合的に分析し、Paperswithcode.comの使用メトリクスと研究コミュニティにおける急速な採用度を優先基準とする。
• 代替アテンション機構、状態空間モデル、およびMishやGELUのような新しいレイヤー型を含む、主要なアーキテクチャ的革新を分類・分析する。
• 著者らは5つの共通の設計パターンを同定・形式化する：マルチ-X、高次元レイヤー、データ制御ゲーティング、移動平均、行列分解。
• 研究手法は、ベンチマークリーダーボードと引用分析による実証的検証に依拠し、Google Scholarおよびサーベイ文献による手動による検証で補完される。
• GPT、Llama、Geminiなどのトランスフォーマー基盤モデルと、新たな代替アーキテクチャを比較し、理論的および実用的潜在能力を評価する。
• 本論文は、データ／データ拡張、モデル圧縮、分散学習の分野にはカバーしない。これは、アーキテクチャ的および最適化的革新に焦点を絞るためである。

Figure 1 : Overview: Part 1 deals with transformers, Part 2 with deep learning (Lower graph based on [ 103 ] )

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーの代替として、現在のディープラーニング分野に破壊的インパクトを与える可能性を秘めた最も有望なアーキテクチャ的代替は何ですか？
• RQ2 最近のディープラーニングの進展において、累進的改善を超えて成功をもたらす共通の設計パターンは何か？
• RQ3 状態空間モデルやキャプセルネットワークといった新興モデルは、効率性、表現力、拡張性の観点からトランスフォーマーと比べてどうですか？
• RQ4 SOTAに達していないにもかかわらず、なぜ一部の革新的なアイデアが、将来的なブレークスルーに大きな可能性を秘めているのでしょうか？
• RQ5 現在のディープラーニングの進展は、累進的進歩にとどまるものでしょうか、それとも根本的なパラダイムシフトなのでしょうか？

主な発見

• 本論文は、成功したディープラーニングの革新に共通して見られる5つの設計パターン—マルチ-X、高次元レイヤー、データ制御ゲーティング、移動平均、行列分解—を同定した。
• 状態空間モデルは、アテンション機構の主要な代替手段として強調され、線形計算量と強力な系列モデリング性能を示している。
• アテンション、LSTM、GELU、Mixture-of-Expertsに見られるデータ制御ゲーティング機構は、動的情報フローの強力な抽象化であることが示された。
• 支配的であるにもかかわらず、トランスフォーマーは「無料のランチの定理」に反する。多様なタスクで優れた性能を発揮するため、特定の分野では特化型アーキテクチャがそれらを凌駆する可能性がある。
• 本サーベイは、研究分野に「勝者総取り」のダイナミクスが存在することを明らかにした。プラットフォームベースのメトリクスは、人気のないが革新的なアイデアを無視する可能性があり、真の破壊的イノベーションの停滞を引き起こすおそれがある。
• 著者らは、最近の進展は非常に創造的ではあるが、依然として主に累進的であると結論づけ、今後のブレークスルーには、現在のアーキテクチャ的トレンドを超える根本的な新しい手法の導入が不可欠であると提言した。

Figure 2 : Transformer with the four basic blocks on top and the encoder and decoder at the bottom Figure from [ 103 ]