[論文レビュー] TRON: Transformer Neural Network Acceleration with Non-Coherent Silicon Photonics

Salma Afifi, Febin Sunny+2 more|arXiv (Cornell University)|Mar 22, 2023

Neural Networks and Reservoir Computing被引用数 4

ひとこと要約

TRONは、BERT やビジョントランスフォーマーなどのトランスフォーマーモデル向けに、非干渉的シリコンフォトニクスを活用した最初のシリコンフォトニックニューラルネットワークアクセラレータを提案する。これにより、最先端の電子アクセラレータと比較して、少なくとも14倍の高いスループットと8倍の優れたエネルギー効率を達成し、自然言語処理およびコンピュータビジョンワークロードにおける高性能推論を実現する。

ABSTRACT

Transformer neural networks are rapidly being integrated into state-of-the-art solutions for natural language processing (NLP) and computer vision. However, the complex structure of these models creates challenges for accelerating their execution on conventional electronic platforms. We propose the first silicon photonic hardware neural network accelerator called TRON for transformer-based models such as BERT, and Vision Transformers. Our analysis demonstrates that TRON exhibits at least 14x better throughput and 8x better energy efficiency, in comparison to state-of-the-art transformer accelerators.

研究の動機と目的

• 自然言語処理およびコンピュータビジョン分野におけるトランスフォーマー基盤モデルの増大する計算要求に対応する。
• 注目メカニズムの高精度・高帯域幅計算を処理するうえで、電子アクセラレータの限界を克服する。
• トランスフォーマーの固有の計算パターンに特化したフォトニックハードウェアアクセラレータを設計する。
• 最先端の電子アクセラレータと比較して、スループットおよびエネルギー効率の顕著な向上を達成する。
• 大規模AI推論に向けた非干渉的シリコンフォトニクスの実現可能性と性能向上を実証する。

提案手法

• 自己注意メカニズムの中心的役割を果たす行列乗算およびソフトマックス演算に最適化されたフォトニックアクセラレータアーキテクチャを設計する。
• 干渉的フォトニクスシステムと比較してシステムの複雑さとコストを低減するため、非干渉的シリコンフォトニクスを活用する。
• 制御論理およびデータフローの調整を処理するため、ハイブリッド電子-フォトニック処理パイプラインを実装する。
• 波長分割多重を活用して、複数の注目ヘッドおよび計算経路を並列化する。
• プロセッシング要素間の高帯域幅・低遅延通信を実現するため、フォトニックインターコネクトを統合する。
• 変換損失および遅延を最小限に抑えるために、注目計算をフォトニックドメイン演算に最適マッピングする。

実験結果

リサーチクエスチョン

• RQ1 非干渉的シリコンフォトニクスは、トランスフォーマーニューラルネットワークの効率的加速を可能にするか？
• RQ2 注目ベースのモデルにおいて、フォトニックアクセラレータは電子アクセラレータと比較してスループットおよびエネルギー効率の面でどのように差をつけるか？
• RQ3 実世界のトランスフォーマーに向けたフォトニック推論を現実可能にするために、どのようなアーキテクチャ的および信号処理のイノベーションが必要か？
• RQ4 フォトニックハードウェアは、自己注意計算の遅延およびエネルギー消費をどの程度低減できるか？
• RQ5 スケーラブルAIアクセラレータにおいて非干渉的光学を用いる場合の性能トレードオフは何か？

主な発見

• TRONは、最先端の電子トランスフォーマーアクセラレータと比較して、少なくとも14倍の高いスループットを達成した。
• 提案されたアクセラレータは、既存の電子ソリューションと比較して8倍の優れたエネルギー効率を示した。
• 非干渉的シリコンフォトニクスは、複雑な位相安定化を要しないため、スケーラブルでコスト効果的なフォトニックアクセラレータ設計を可能にした。
• このアーキテクチャは、BERT やビジョントランスフォーマーにおける注目メカニズムの高精度・高帯域幅要件を効果的に処理できた。
• 性能向上は、フォトニックドメイン計算に内在する並列処理および低遅延インターコネクトに起因する。
• 結果として、従来の電子的限界を超えて、現代のディープラーニングワークロードの加速にシリコンフォトニクスを活用する実現可能性が裏付けられた。