[論文レビュー] NN-LUT: Neural Approximation of Non-Linear Operations for Efficient Transformer Inference

Joonsang Yu, Junki Park+5 more|arXiv (Cornell University)|Dec 3, 2021

Neural Networks and Applications被引用数 5

ひとこと要約

この論文では、BERTベースのモデルにおけるGELU、Softmax、LayerNormなどの非線形演算を、低遅延・低消費電力の推論を実現するためのニューラルネットワークをルックアップテーブル（LUT）に変換した、ハードウェア効率の良いフレームワークNN-LUTを提案する。GLUEおよびSQuADベンチマークにおいてわずかな精度低下で、最先端の整数ベースの近似手法と比較して最大26％のシステムスループット向上と36.4倍の消費電力削減を達成した。

ABSTRACT

Non-linear operations such as GELU, Layer normalization, and Softmax are essential yet costly building blocks of Transformer models. Several prior works simplified these operations with look-up tables or integer computations, but such approximations suffer inferior accuracy or considerable hardware cost with long latency. This paper proposes an accurate and hardware-friendly approximation framework for efficient Transformer inference. Our framework employs a simple neural network as a universal approximator with its structure equivalently transformed into a LUT. The proposed framework called NN-LUT can accurately replace all the non-linear operations in popular BERT models with significant reductions in area, power consumption, and latency.

研究の動機と目的

• 推論中に高いハードウェアコストと遅延を生じるTransformerモデルにおける非線形演算（GELU、Softmax、LayerNorm）の課題に対処すること。
• 複雑なデータパスや高精度算術演算を回避する、一般化可能でハードウェアにやさしい近似フレームワークを開発すること。
• 微調整や再訓練を必要とせず、事前学習済みBERTモデルの非線形演算をそのまま置き換え可能なドロップイン代替手法を実現すること。
• モデルの精度を維持しつつ、ニューラルプロセシングユニット（NPU）における面積、消費電力、遅延を削減すること。
• 既存のNPUアーキテクチャに統合することで、システムレベルの性能向上を実証すること。

提案手法

• 非線形関数を普遍的近似として学習した1層のReLUニューラルネットワークを、数学的に同等のLUTベース実装に変換する。
• ハードウェアを変更せずに各演算（例：GELU、Softmax）ごとにLUTを更新でき、異なる非線形関数への再利用が可能となる。
• 多様な入力範囲にわたる近似誤差を最小化するための一般的なトレーニング戦略を適用する。
• 入力スケーリングを用いてLUT近似の動的範囲を拡張し、広い入力ドメインにおける精度を向上させる。
• ラベル付きデータを必要とせず、フルモデルの微調整なしにLUTを最適化するデータセットフリーのキャリブレーション手法を導入する。
• 7nmプロセスを用いたハードウェア合成により、最先端の整数のみの実装と比較して面積、消費電力、遅延を評価する。

実験結果

リサーチクエスチョン

• RQ1 非線形演算のLUTベース近似に変換する際、精度の損失なしにニューラルネットワークを有効に活用できるか？
• RQ2 既存の整数ベース近似手法と比較して、提案されたNN-LUTフレームワークは、ハードウェア効率（面積、消費電力、遅延）において優れているか？
• RQ3 NN-LUTは、GELU、Softmax、LayerNormをBERTおよびMobileBERTモデルにドロップインで置き換え可能であり、精度の低下は最小限に抑えられるか？
• RQ4 既存のNPUアーキテクチャにNN-LUTを統合することで、どの程度のシステムレベルの性能向上が達成できるか？
• RQ5 ラベル付きデータセットやフルモデルの微調整なしに、LUTベースの近似をキャリブレーション可能か？

主な発見

• NN-LUTは、非線形演算における最先端の整数ベース近似手法（I-BERT）と比較して、面積を2.63倍削減し、消費電力を36.4倍低減した。
• NN-LUTはI-BERTと比較して、クリティカルパス遅延を3.93倍短縮し、顕著な遅延低減を実現した。
• 統合済みNPU上でのRoBERTa推論において、非線形演算の最適化により最大26％のシステムレベルのスループット向上を達成した。
• GLUEおよびSQuADベンチマークにおいて、NN-LUTは元のモデルとほぼ同一の精度を維持し、わずかな低下に留めた。
• データセットフリーのキャリブレーション手法は、ラベル付きデータやフルモデルの再学習を必要とせず、LUTの精度を効果的に向上させた。
• ハードウェア合成の結果、NN-LUTのLUTベース設計は、既にLUTを内蔵している既存のNPUアーキテクチャと高い相性を示し、高い効率性を有することが確認された。