[论文解读] An Iterative Algorithm for Rescaled Hyperbolic Functions Regression

Yeqi Gao, Zhao Song+1 more|arXiv (Cornell University)|May 1, 2023

Tensor decomposition and applications被引用 7

一句话总结

本文提出了一种新颖的迭代算法，用于缩放双曲函数回归，将指数回归和Softmax回归推广至包含sinh和cosh等双曲函数的场景。该算法在输入稀疏性时间复杂度下具备可证明的收敛性保证，提供了一个统一的框架，适用于大规模语言模型中的注意力机制和上下文学习场景。

ABSTRACT

Large language models (LLMs) have numerous real-life applications across various domains, such as natural language translation, sentiment analysis, language modeling, chatbots and conversational agents, creative writing, text classification, summarization, and generation. LLMs have shown great promise in improving the accuracy and efficiency of these tasks, and have the potential to revolutionize the field of natural language processing (NLP) in the years to come. Exponential function based attention unit is a fundamental element in LLMs. Several previous works have studied the convergence of exponential regression and softmax regression. In this paper, we propose an iterative algorithm to solve a rescaled version of the slightly different formulation of the softmax regression problem that arises in attention mechanisms of large language models. Specifically, we consider minimizing the squared loss between a certain function, which can be either the exponential function, hyperbolic sine function, or hyperbolic cosine function, and its inner product with a target $n$-dimensional vector $b$, scaled by the normalization term. This ``rescaled softmax regression'' differs from classical softmax regression in the location of the normalization factor. The efficiency and generalizability of this framework to multiple hyperbolic functions make it relevant for optimizing attention mechanisms. The analysis also leads to a corollary bounding solution changes under small perturbations for in-context learning. Limitations and societal impact are discussed.

研究动机与目标

• 形式化并研究一种新的缩放回归问题，其中归一化因子应用于目标向量b，与经典的Softmax回归不同。
• 开发一个通用的算法框架，使单一统一的优化问题能够支持多种双曲函数——exp、cosh和sinh。
• 实现输入稀疏性时间复杂度，确保在自然语言处理和大语言模型中常见的大规模稀疏矩阵场景下的高效性。
• 将该框架扩展至上下文学习，分析在有界扰动下模型更新如何影响回归目标。
• 在对问题参数和初始化的合理假设下，提供高概率的理论收敛保证。

提出的方法

• 提出广义回归问题：最小化 ‖u(x) − ⟨u(x), 1ₙ⟩·b‖₂²，其中 u(x) ∈ {exp(Ax), cosh(Ax), sinh(Ax)}。
• 引入带有Tikhonov型项的正则化目标函数：0.5‖u(x) − ⟨u(x), 1ₙ⟩·b‖₂² + 0.5‖diag(w)Ax‖₂²，以确保强凸性。
• 采用阻尼牛顿型方法，通过子采样Hessian矩阵 D̃ = AᵀD̃A 近似Hessian矩阵，其中D为依赖函数的对角权重矩阵。
• 使用随机子采样（SubSample过程）在每次迭代中近似Hessian矩阵，降低计算成本的同时保持收敛性。
• 采用线搜索策略，迭代次数为 T = log(‖x₀ − x*‖₂ / ε)，确保以几何速度收敛至ε精度。
• 通过在迭代中使用联合界控制失败概率δ，确保高概率输出保证。

实验结果

研究问题

• RQ1 能否开发一个统一的算法框架，同时求解多种双曲函数（exp、cosh、sinh）的缩放回归问题？
• RQ2 在对矩阵范数、初始化和正则化参数的合理假设下，该框架的理论收敛性保证是什么？
• RQ3 该算法如何在处理注意力机制中非线性、类非凸函数的同时，保持输入稀疏性时间复杂度？
• RQ4 该框架在多大程度上可扩展至上下文学习，其中模型权重或输入矩阵受到扰动？
• RQ5 x或A的扰动对最终回归目标b的影响如何？能否以高概率进行有界控制？

主要发现

• 该算法实现输入稀疏性时间复杂度，总运行时间为 O((nnz(A) + d^ω) · poly(log(n/δ)))，其中 ω ≈ 2.373 为矩阵乘法指数。
• 该算法在 T = log(‖x₀ − x*‖₂ / ε) 次迭代内实现几何收敛，以高概率 1 − δ 达到ε精度的解。
• Hessian矩阵被证明是正定且Lipschitz连续的，从而支持稳定的牛顿型更新。
• 该框架支持上下文学习：x的扰动δx导致目标偏移被限制在 M·‖δx‖₂ 以内，其中 M = exp(O(R² + log n))。
• A的扰动ΔA导致目标偏移被限制在 M·‖ΔA‖ 以内，其中M依赖于问题参数和维度。
• 在较弱假设下该方法具有鲁棒性：R ≥ 4，‖x*‖₂ ≤ R，‖A‖ ≤ R，‖b‖₂ ≤ R，且对所有i满足 wᵢ² ≥ 100 + l/σ_min(A)²。