[논문 리뷰] Solving Regularized Exp, Cosh and Sinh Regression Problems

Zhihang Li, Zhao Song외 1명|arXiv (Cornell University)|2023. 03. 28.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 근사 뉴턴 방법을 사용하여 정규화된 지수, 코시함수 코시,双곡 코시 함수 회귀 문제를 해결하기 위한 새로운 입력 희소성 시간 알고리즘을 제안한다. 이 알고리즘은 로그 수준의 반복 복잡도와 반복당 거의 입력 희소성 수준의 시간을 확보하여 높은 확률로 $\epsilon$-정확도 해에 수렴한다.

ABSTRACT

In modern machine learning, attention computation is a fundamental task for training large language models such as Transformer, GPT-4 and ChatGPT. In this work, we study exponential regression problem which is inspired by the softmax/exp unit in the attention mechanism in large language models. The standard exponential regression is non-convex. We study the regularization version of exponential regression problem which is a convex problem. We use approximate newton method to solve in input sparsity time. Formally, in this problem, one is given matrix $A \in \mathbb{R}^{n imes d}$, $b \in \mathbb{R}^n$, $w \in \mathbb{R}^n$ and any of functions $\exp, \cosh$ and $\sinh$ denoted as $f$. The goal is to find the optimal $x$ that minimize $ 0.5 \| f(Ax) - b \|_2^2 + 0.5 \| \mathrm{diag}(w) A x \|_2^2$. The straightforward method is to use the naive Newton's method. Let $\mathrm{nnz}(A)$ denote the number of non-zeros entries in matrix $A$. Let $ω$ denote the exponent of matrix multiplication. Currently, $ω\approx 2.373$. Let $ε$ denote the accuracy error. In this paper, we make use of the input sparsity and purpose an algorithm that use $\log ( \|x_0 - x^*\|_2 / ε)$ iterations and $\widetilde{O}(\mathrm{nnz}(A) + d^ω )$ per iteration time to solve the problem.

연구 동기 및 목표

• 대규모 언어 모델의 어텐션 메커니즘 맥락에서 단일 변수 지수, 코시, 双곡 코시 함수 회귀 문제에 대한 이론적 및 알고리즘적 연구 부족을 해결하기 위해.
• 비볼록 지수 회귀 문제를 볼록이고 정규화된 형태로 재구성하여 효율적 최적화를 가능하게 하기 위해.
• 반복당 입력 희소성 시간 내에 수렴하면서도 반복 횟수를 로그 수준으로 유지하는 알고리즘을 설계하기 위해.
• 유사한 수렴 보장을 확보하면서도 이 프레임워크를 코시 및 双곡 코시 함수로 확장하기 위해.
• 초기화 및 정규화에 대한 온건한 가정 하에 $\epsilon$-정확도 해에 높은 확률로 수렴함을 보장하기 위해.

제안 방법

• 함수 $f \in \{\exp, \cosh, \sinh\}$에 대해 $ \frac{1}{2}\|f(Ax) - b\|_2^2 + \frac{1}{2}\|\operatorname{diag}(w)Ax\|_2^2 $의 최소화 문제로 회귀 문제를 공식화하여 볼록성을 확보한다.
• 헤시안 근사값을 사용한 근사 뉴턴 방법을 적용하여 반복당 비용을 감소시키면서도 수렴성을 유지한다.
• 헤시안 근사 오차 한계 $ \epsilon_H \in (0,1) $를 도입하여 헤시안 갱신의 정확도를 제어한다.
• 한 단계 수축 보조정리를 활용하여 반복마다 오차 $ \|x_k - x^*\|_2 $ 가 0.4 배수로 기하급수적으로 감소함을 증명한다.
• 입력 희소성을 활용하여 각 반복당 $ \widetilde{O}(\mathrm{nnz}(A)) $ 시간 내에 기울기와 헤시안 근사값을 계산한다.
• 다항로그 수준의 실패 확률 $ \delta $를 갖는 랜덤화된 헤시안 근사와 통합하여 고확률 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 정규화된 지수 회귀 문제를 증명 가능 수렴 보장 하에 입력 희소성 시간 내에 효율적으로 해결할 수 있는가?
• RQ2 함수 $ f \in \{\exp, \cosh, \sinh\} $에 대해 $ f(Ax) $의 헤시안 구조는 볼록성과 빠른 최적화를 어떻게 가능하게 하는가?
• RQ3 정규화 가중치 $ w_i $에 어떤 조건이 성립하면 헤시안이 정규화된 양의 정부호이자 리프시츠 연속이 되는가?
• RQ4 근사 뉴턴 방법이 거의 입력 희소성 수준의 반복당 비용과 함께 로그 수준의 반복 횟수를 달성할 수 있는가?
• RQ5 이 비표준 회귀 설정에서 헤시안 근사 오차와 수렴 속도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 알고리즘은 $ \log(\|x_0 - x^*\|_2 / \epsilon) $ 번의 반복 내에 수렴하며, 고확률로 $ \epsilon $-정확도 해를 달성한다.
• 각 반복은 $ \widetilde{O}(\mathrm{nnz}(A) + d^\omega) $ 시간 내에 수행되며, 여기서 $ \omega \approx 2.373 $은 행렬 곱셈 지수이다.
• 데이터 및 정규화에 대한 온건한 가정 하에 헤시안이 정규화된 양의 정부호이자 리프시츠 연속임을 입증한다.
• 지수, 코시, 双곡 코시 함수 모두에 대해 오차는 반복당 기하급수적으로 0.4 배수로 감소함을 보장한다.
• 실패 확률는 $ \delta $ 이하로 제한되며, 반복 간 유니온 바운드를 통해 고확률 보장을 유지한다.
• 초기화에 대해 강건하며, 단지 $ M\|x_0 - x^*\|_2 \leq 0.1l $ 조건만 충족하면 된다. 여기서 $ M $은 리프시츠 상수이고 $ l $은 헤시안 고유값의 하한이다.