[論文レビュー] Standard Transformers Achieve the Minimax Rate in Nonparametric Regression with $C^{s,λ}$ Targets

Yanming Lai, Defeng Sun|arXiv (Cornell University)|Feb 24, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は標準的なTransformerアーキテクチャが Hölder 関数を C^{s,λ} 空間で任意の精度まで近似でき、ノンパラメトリック回帰においてミニマックス最適速度を達成することを示し、Transformer の構造を細粒度に特徴付ける。

ABSTRACT

The tremendous success of Transformer models in fields such as large language models and computer vision necessitates a rigorous theoretical investigation. To the best of our knowledge, this paper is the first work proving that standard Transformers can approximate Hölder functions $ C^{s,λ}\left([0,1]^{d imes n} ight) $$ (s\in\mathbb{N}_{\geq0},0<λ\leq1) $ under the $L^t$ distance ($t \in [1, \infty]$) with arbitrary precision. Building upon this approximation result, we demonstrate that standard Transformers achieve the minimax optimal rate in nonparametric regression for Hölder target functions. It is worth mentioning that, by introducing two metrics: the size tuple and the dimension vector, we provide a fine-grained characterization of Transformer structures, which facilitates future research on the generalization and optimization errors of Transformers with different structures. As intermediate results, we also derive the upper bounds for the Lipschitz constant of standard Transformers and their memorization capacity, which may be of independent interest. These findings provide theoretical justification for the powerful capabilities of Transformer models.

研究の動機と目的

• 標準的な Transformers が L^t および L^∞ ノルムの下で C^{s,λ}([0,1]^{d×n}) にある Hölder 関数を任意の精度で近似できることを実証する。
• Transformers が Hölder 目標のノンパラメトリック回帰においてミニマックス最適収束速度を達成することを確立する。
• サイズタプルと次元ベクトルという細粒度の Transformer 構造特性を提供し、一般化と最適化を分析する。
• Transformer のリップシッツ定数と記憶容量に関する中間結果を導出し、独立して有用な関心事となる。

提案手法

• Hölder 目標を L^t および L^∞ ノルムで ε 以内に近似できるよう、明示的なサイズ・幅・深さ・アテンションヘッド構成を持つ Transformer アーキテクチャを構築する（定理 1 および 2）。
• 高次元入力を扱うため、パーティションベースの近似アプローチと Transformer ブロック間での近似の伝搬を利用する。
• Transformer に拡張した水平シフト技法を適用し、L^∞ 収束結果を達成する（定理 2）。
• 中間結果としてリップシッツ定数と記憶容量の上界を提供する（補題 4 および補題 7）。
• Transformer の複雑さを捉える二つの構造指標—サイズタプルと次元ベクトル—を定義・使用する。
• Y_i = f_0(X_i) + ξ_i を用いるノンパラメトリック回帰設定を分析し、過剰リスクを界としミニマックス速度を示す（定理 3）。

実験結果

リサーチクエスチョン

• RQ1 標準的な Transformers は一般的な Hölder 空間 C^{s,λ}([0,1]^{d×n}) の函数を L^t ノルム下で任意の精度まで近似できるか？
• RQ2 ターゲット函数が C^{s,λ} にある場合、標準的な Transformers はノンパラメトリック回帰でミニマックス最適速度を達成するか？

主な発見

• C^{s,λ} のターゲットに対して ε>0 の近似を L^t で達成する Transformer 構成が存在し、明示的なネットワークサイズとパラメータ数が与えられる。
• C^{s,λ} のターゲットに対して ε>0 の近似を L^∞ で達成する Transformer 構成が存在するが、L^t ケースよりもサイズ要件が大きい。
• Hölder ターゲットを持つノンパラメトリック回帰では、Transformer ベースの推定量の過剰リスクは m^{-2γ/(2γ+dn)}（対数因子は除外または含む場合あり）でミニマックス速度に一致する。
• Transformers のリップシッツ定数境界と、標準的な自己注意の記憶容量の中間結果が含まれる。
• サイズタプルと次元ベクトルによる Transformer 構造の細かな説明が提供され、一般化と最適化の分析を改善する。