[論文レビュー] NoiseFormer -- Noise Diffused Symmetric Attention Transformer

Phani Kumar, Nyshadham+3 more|arXiv (Cornell University)|Jan 10, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

NoiseFormer は一般的なアテンションを対称アテンションのノイズ版として捉え、対称アテンションスコアに学習可能なノイズを追加することで、最小限のパラメータと計算オーバーヘッドで性能を発揮し、GPT-2 ベースの NanoGPT および GLUE ベンチマークで検証される。

ABSTRACT

Transformer architecture has been very successful long runner in the field of Deep Learning (DL) and Large Language Models (LLM) because of its powerful attention-based learning and parallel-natured architecture. As the models grow gigantic in terms of memory footprint, difficulties in fitting the model on a device like a GPU or an AI accelerator give rise to the need for multiple computing devices thereby escalating the computing cost. This increased training/inference cost paved the way for efficient model size reduction/parametric reduction deploying Sparse Attention techniques. In this paper, we start analyzing one of the techniques of Sparse Attention called Symmetric Dot-Product Attention (referred to as Symmetric Attention) and propose a novel unified model architecture called Noise Diffused Symmetric Attention Transformer to enhance the model's performance. While maintaining the memory gains of Symmetric Attention, with minute overhead in terms of model parameters and computational overhead, the proposed model brings in enhanced performance in terms of accuracy and inference-time sampling. The proposed model is validated upon GPT2 base model and the results reflect the performance gains falling between plain Symmetric attention and GPT2 base model on a variety of GLUE benchmark tasks in terms of accuracy, with significant model size reduction with respect to the base model.

研究の動機と目的

• 大規模トランスフォーマーモデルのメモリと計算コストを、疎結合で対称的なアテンション機構を活用して低減する。
• 対称点積アテンションに学習可能なノイズを注入して表現力を回復させる統一的な NoiseFormer アーキテクチャを提案する。
• NoiseFormer が GLUE ベンチマークで OpenWebText で事前学習した NanoGPT ベースモデルを用いて大幅なメモリ節約と競争力のある性能を達成することを示す。

提案手法

• 一般的なアテンションを QK^T = QQ^T + noise' としてノイズ付き対称アテンションの版として再定義し、noise' をガウス分布としてモデル化する。
• 対称アテンション計算後に加法的ノイズを注入する NoiseFormer アーキテクチャを提案し、ヘッド間で共有する形式またはヘッド単位の形式を採用する。
• シーケンスの負対数尤度とKL ダイバージェンス項を組み合わせたグローバル損失でノイズを標準ガウスへ正則化する。
• ノイズモデリングと一般的アテンションスコアの推定器のための統一的な学習目的を、オート回帰的フレームワーク内で採用する。
• GLUE タスクに対するメモリと計算オーバーヘッドを評価し、OpenWebText で事前学習した NanoGPT ベースモデルを用いたファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 一般的なアテンションを、学習可能なノイズ統計を持つノイズ付き対称アテンションとして効果的に近似できるか。
• RQ2 共有ノイズとヘッド毎ノイズの導入がモデル性能とパラメータ効率に及ぼす影響はどのようか。
• RQ3 GLUE ベンチマークにおける NoiseFormer と素の対称アテンションおよびベースの GPT-2 変種との精度とメモリ使用量の比較はどうなるか。

主な発見

Model	MRPC	COLA	MNLI	QQP	RTE	QNLI	SST2
NanoGPT_Base	74.75	0.15	56.91	76.60	61.01	67.30	81.65
SymAttn	68.87	0.22	56.05	77.64	52.7	68.16	87.04
NoiseFormer_V1	73.28	0.09	55.74	76.26	58.12	66.88	82.68
NoiseFormer_V2	72.79	0.10	55.26	76.83	56.67	66.73	82.56

• NoiseFormer のバリアントは、ベースの NanoGPT モデルに対してパラメータ数を約5.77%削減し、対称アテンションのベースラインと同程度である。
• ノイズは共有またはヘッド単位の構造のため、対称アテンションと比較して追加のメモリの増分はほぼゼロ、計算オーバーヘッドもごく僅かとなる。
• GLUE タスクでは NoiseFormer バリアントは、ベースモデルと対称アテンションの間のギャップを埋める傾向があり、V2 は多くのタスクで V1 を上回り、ベースモデルの性能に近づく。
• ヘッド単位バリアント（V2）は、共有ヘッドバリアント（V1）および対称アテンションのベースラインよりも事前学習損失の結果が良くなる傾向がある。
• GLUE タスク全体では、タスクごとに結果が異なるが、NoiseFormer は MRPC および QQP でベースを頻繁に上回り、対称アテンションに近いまたは一致することが多い。