[論文レビュー] Solving Regularized Exp, Cosh and Sinh Regression Problems

Zhihang Li, Zhao Song+1 more|arXiv (Cornell University)|Mar 28, 2023

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、近似ニュートン法を用いて、正則化付き指数関数、双曲余弦、双曲正弦回帰問題を解くための新規な入力スパarsity時間アルゴリズムを提案する。反復回数の複雑さは対数的であり、1反復あたりの時間計算量は入力スパarsityに近い。高確率で $ \epsilon $-精度の解に収束することが保証される。

ABSTRACT

In modern machine learning, attention computation is a fundamental task for training large language models such as Transformer, GPT-4 and ChatGPT. In this work, we study exponential regression problem which is inspired by the softmax/exp unit in the attention mechanism in large language models. The standard exponential regression is non-convex. We study the regularization version of exponential regression problem which is a convex problem. We use approximate newton method to solve in input sparsity time. Formally, in this problem, one is given matrix $A \in \mathbb{R}^{n imes d}$, $b \in \mathbb{R}^n$, $w \in \mathbb{R}^n$ and any of functions $\exp, \cosh$ and $\sinh$ denoted as $f$. The goal is to find the optimal $x$ that minimize $ 0.5 \| f(Ax) - b \|_2^2 + 0.5 \| \mathrm{diag}(w) A x \|_2^2$. The straightforward method is to use the naive Newton's method. Let $\mathrm{nnz}(A)$ denote the number of non-zeros entries in matrix $A$. Let $ω$ denote the exponent of matrix multiplication. Currently, $ω\approx 2.373$. Let $ε$ denote the accuracy error. In this paper, we make use of the input sparsity and purpose an algorithm that use $\log ( \|x_0 - x^*\|_2 / ε)$ iterations and $\widetilde{O}(\mathrm{nnz}(A) + d^ω )$ per iteration time to solve the problem.

研究の動機と目的

• 大規模言語モデルにおけるアテンション機構の文脈において、単変数の指数関数、cosh、sinh 回帰問題に関する理論的・アルゴリズム的研究の不足を解消すること。
• 非凸な指数関数回帰問題を凸的・正則化形式に再定式化し、効率的な最適化を可能にすること。
• 1反復あたり入力スパarsity時間で収束するが、反復回数は対数的であるようなアルゴリズムを設計すること。
• 同様の収束保証を持つように、このフレームワークを双曲線関数 cosh および sinh に拡張すること。
• 初期化および正則化に関する緩い仮定のもとで、高確率で $ \epsilon $-精度の解に収束することを保証すること。

提案手法

• 関数 $ f \in \{\exp, \cosh, \sinh\} $ に対して、$ \frac{1}{2}\|f(Ax) - b\|_2^2 + \frac{1}{2}\|\operatorname{diag}(w)Ax\|_2^2 $ の最小化として回帰問題を定式化し、凸性を保証する。
• ヘッセ行列の近似を用いた近似ニュートン法を適用し、1反復あたりの計算コストを削減しながら収束性を維持する。
• ヘッセ行列近似誤差のバウンド $ \epsilon_H \in (0,1) $ を導入し、ヘッセ更新の精度を制御する。
• 1ステップ収縮補題を用いて、誤差 $ \|x_k - x^*\|_2 $ が1反復あたり0.4の要因で幾何的に減少することを証明する。
• 1反復あたり $ \widetilde{O}(\mathrm{nnz}(A)) $ 時間で勾配およびヘッセ行列の近似を計算することで、入力スパarsityを活用する。
• ランダム化されたヘッセ行列近似を統合し、多項対数的失敗確率 $ \delta $ を用いることで、高確率での収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 正則化付き指数関数回帰は、証明可能な収束性を備えた入力スパarsity時間で効率的に解けるか？
• RQ2 関数 $ f \in \{\exp, \cosh, \sinh\} $ に対して $ f(Ax) $ のヘッセ構造は、凸性および高速最適化をどのように可能にするか？
• RQ3 正則化重み $ w_i $ にどのような条件を課すと、ヘッセ行列が正定値かつリプシッツ連続になるか？
• RQ4 近似ニュートン法は、近似入力スパarsity時間の1反復コストと対数的反復回数を同時に達成できるか？
• RQ5 この非標準的回帰設定において、ヘッセ行列の近似誤差と収束速度のトレードオフは何か？

主な発見

• アルゴリズムは $ \log(\|x_0 - x^*\|_2 / \epsilon) $ 反復で収束し、高確率で $ \epsilon $-精度の解を得る。
• 1反復あたりの実行時間は $ \widetilde{O}(\mathrm{nnz}(A) + d^\omega) $ であり、$ \omega \approx 2.373 $ は行列乗算指数である。
• データおよび正則化に関する緩い仮定のもとで、ヘッセ行列が正定値かつリプシッツ連続であることが示された。
• すべての3つの関数（$ \exp, \cosh, \sinh $）に対して、誤差が1反復あたり0.4の割合で幾何的に減少することが保証される。
• 失敗確率は $ \delta $ でバウンドされ、反復回数にわたる和集合補題により高確率保証が維持される。
• 初期化に対してロバストであり、$ M\|x_0 - x^*\|_2 \leq 0.1l $ を満たすだけで十分である。ここで $ M $ はリプシッツ定数、$ l $ はヘッセ固有値の下界である。