[論文レビュー] An Iterative Algorithm for Rescaled Hyperbolic Functions Regression

Yeqi Gao, Zhao Song+1 more|arXiv (Cornell University)|May 1, 2023

Tensor decomposition and applications被引用数 7

ひとこと要約

本稿では、双曲正弦（sinh）や双曲余弦（cosh）などの双曲関数を含む、指数関数的・ソフトマックス回帰の一般化である、再スケーリング双曲関数回帰のための新規反復的アルゴリズムを提案する。入力スパarsity時間計算量を達成し、収束保証を備えたため、大規模言語モデルにおけるアテンションメカニズムや、コンテキスト内学習の場面に適用可能な統一的フレームワークを提供する。

ABSTRACT

Large language models (LLMs) have numerous real-life applications across various domains, such as natural language translation, sentiment analysis, language modeling, chatbots and conversational agents, creative writing, text classification, summarization, and generation. LLMs have shown great promise in improving the accuracy and efficiency of these tasks, and have the potential to revolutionize the field of natural language processing (NLP) in the years to come. Exponential function based attention unit is a fundamental element in LLMs. Several previous works have studied the convergence of exponential regression and softmax regression. In this paper, we propose an iterative algorithm to solve a rescaled version of the slightly different formulation of the softmax regression problem that arises in attention mechanisms of large language models. Specifically, we consider minimizing the squared loss between a certain function, which can be either the exponential function, hyperbolic sine function, or hyperbolic cosine function, and its inner product with a target $n$-dimensional vector $b$, scaled by the normalization term. This ``rescaled softmax regression'' differs from classical softmax regression in the location of the normalization factor. The efficiency and generalizability of this framework to multiple hyperbolic functions make it relevant for optimizing attention mechanisms. The analysis also leads to a corollary bounding solution changes under small perturbations for in-context learning. Limitations and societal impact are discussed.

研究の動機と目的

• 正規化因子が目的ベクトル b に適用される、従来のソフトマックス回帰とは異なる新しい再スケーリング回帰問題を形式化・分析すること。
• 単一の統一的最適化問題内で、複数の双曲関数（exp、cosh、sinh）を扱える一般化されたアルゴリズムフレームワークを構築すること。
• 自然言語処理や大規模言語モデルで一般的な大規模スパース行列を対象とした、入力スパarsity時間計算量を達成すること。
• モデルの更新が有界な摂動下で回帰ターゲットに与える影響を分析することを含め、フレームワークをコンテキスト内学習に拡張すること。
• 問題パラメータと初期化に関する現実的な仮定の下で、高い確率で収束保証を提供すること。

提案手法

• 一般化された回帰問題を定式化：最小化 ‖u(x) − ⟨u(x), 1ₙ⟩·b‖₂²、ここで u(x) ∈ {exp(Ax), cosh(Ax), sinh(Ax)}。
• Tikhonov型の項を含む正則化された目的関数を導入：0.5‖u(x) − ⟨u(x), 1ₙ⟩·b‖₂² + 0.5‖diag(w)Ax‖₂² により強い凸性を保証。
• Hessian行列の部分サンプリングによる近似を用いた、減衰付きニュートン型手法を採用。Hessian行列の近似として D̃ = AᵀD̃A を使用、D は関数依存の重みをもつ対角行列。
• 各反復でランダムサブサンプリング（SubSample手順）を用いてHessian行列を近似することで、計算コストを削減しながら収束性を維持。
• 線分探索戦略を採用し、反復回数 T = log(‖x₀ − x*‖₂ / ε) とすることで、ε-精度での幾何的収束を保証。
• 反復回数全体にわたる和集合による不確実性の制御を用い、失敗確率 δ を制御し、高確率での出力保証を達成。

実験結果

リサーチクエスチョン

• RQ1 複数の双曲関数（exp、cosh、sinh）を同時に解くための統一的アルゴリズムフレームワークを構築できるか？
• RQ2 行列ノルム、初期化、正則化に関する現実的な仮定の下で、このようなフレームワークの理論的収束保証はどのようなものか？
• RQ3 アテンションメカニズムにおける非線形的・非凸的関数を扱う中で、入力スパarsity時間計算量をどのように維持できるか？
• RQ4 モデルの重みや入力行列が摂動を受けるコンテキスト内学習に、このフレームワークをどの程度まで拡張できるか？
• RQ5 x や A の摂動が、得られる回帰ターゲット b に与える影響は何か？高確率で有界に保てると考えられるか？

主な発見

• アルゴリズムは入力スパarsity時間計算量を達成し、全実行時間は O((nnz(A) + d^ω) · poly(log(n/δ))) となる。ここで ω ≈ 2.373 は行列乗算指数。
• アルゴリズムは T = log(‖x₀ − x*‖₂ / ε) 回の反復で幾何的収束を示し、高確率 1 − δ で ε-精度の解に収束する。
• Hessian行列が正定値かつリプシッツ連続であることが証明され、安定なニュートン型更新が可能となる。
• フレームワークはコンテキスト内学習をサポートする：x に δx の摂動が加わると、ターゲットのシフトは M·‖δx‖₂ で有界になる。ここで M = exp(O(R² + log n))。
• 行列 A に ΔA の摂動が加わると、ターゲットのシフトは M·‖ΔA‖ で有界になる。M は問題パラメータと次元に依存する。
• R ≥ 4、‖x*‖₂ ≤ R、‖A‖ ≤ R、‖b‖₂ ≤ R、およびすべての i に対して wᵢ² ≥ 100 + l/σ_min(A)² というやや緩い仮定のもとで、手法は頑健である。