[논문 리뷰] An Iterative Algorithm for Rescaled Hyperbolic Functions Regression

Yeqi Gao, Zhao Song외 1명|arXiv (Cornell University)|2023. 05. 01.

Tensor decomposition and applications인용 수 7

한 줄 요약

이 논문은 지수 함수와 소프트맥스 회귀를 일반화하여 hyperbolic 함수인 sinh 및 cosh를 포함하는 새로운 반복적 알고리즘을 소개한다. 입력 희소성 시간 복잡도를 확보하면서도 증명 가능한 수렴 보장을 제공하며, 대규모 언어 모델의 어텐션 메커니즘과 인라인 학습 시나리오에 적용 가능한 통합 프레임워크를 제공한다.

ABSTRACT

Large language models (LLMs) have numerous real-life applications across various domains, such as natural language translation, sentiment analysis, language modeling, chatbots and conversational agents, creative writing, text classification, summarization, and generation. LLMs have shown great promise in improving the accuracy and efficiency of these tasks, and have the potential to revolutionize the field of natural language processing (NLP) in the years to come. Exponential function based attention unit is a fundamental element in LLMs. Several previous works have studied the convergence of exponential regression and softmax regression. In this paper, we propose an iterative algorithm to solve a rescaled version of the slightly different formulation of the softmax regression problem that arises in attention mechanisms of large language models. Specifically, we consider minimizing the squared loss between a certain function, which can be either the exponential function, hyperbolic sine function, or hyperbolic cosine function, and its inner product with a target $n$-dimensional vector $b$, scaled by the normalization term. This ``rescaled softmax regression'' differs from classical softmax regression in the location of the normalization factor. The efficiency and generalizability of this framework to multiple hyperbolic functions make it relevant for optimizing attention mechanisms. The analysis also leads to a corollary bounding solution changes under small perturbations for in-context learning. Limitations and societal impact are discussed.

연구 동기 및 목표

• 목표 벡터 b에 정규화 인자가 적용되는 새로운 재스케일링 회귀 문제를 체계화하고 연구하는 것.
• 단일 통합 최적화 문제 내에서 exp, cosh, sinh와 같은 다수의 하이퍼볼릭 함수를 지원하는 일반화된 알고리즘 프레임워크를 개발하는 것.
• NLP 및 LLM에서 흔한 대규모 희소 행렬에 대해 효율성을 확보하는 입력 희소성 시간 복잡도를 달성하는 것.
• 모델 업데이트가 유한한 변동에 대해 회귀 목표에 미치는 영향을 분석함으로써, 인라인 학습으로의 프레임워크 확장을 수행하는 것.
• 문제 파rameter와 초기화에 대한 현실적인 가정 하에 높은 확률로 수렴 보장을 제공하는 이론적 수렴 보장을 제공하는 것.

제안 방법

• 일반화된 회귀 문제를 수식으로 기술: ‖u(x) − ⟨u(x), 1ₙ⟩·b‖₂² 를 최소화하되, u(x) ∈ {exp(Ax), cosh(Ax), sinh(Ax)}.
• Tikhonov 유사 항을 포함한 정규화된 목적 함수 도입: 0.5‖u(x) − ⟨u(x), 1ₙ⟩·b‖₂² + 0.5‖diag(w)Ax‖₂² 를 통해 강한 볼록성 확보.
• 하이퍼볼릭 함수에 따라 가중치가 부여된 대각 행렬 D를 사용한 하이퍼볼릭 행렬 D̃ = AᵀD̃A를 통한 헤시안 행렬 근사화를 통한 감쇠 뉴턴 유형 방법 적용.
• 각 반복에서 계산 비용을 줄이면서도 수렴성을 유지하기 위해 랜덤 서브샘플링(SubSample 절차)을 사용해 헤시안 행렬을 근사.
• 선형 탐색 전략을 적용하여 총 반복 수 T = log(‖x₀ − x*‖₂ / ε)로 설정해 기하급수적 수렴을 확보하고, ε 정확도에 도달하도록 보장.
• 실패 확률 δ를 제어하기 위해 반복 간 유니온 바운드를 적용하여 고확률 출력 보장을 확보.

실험 결과

연구 질문

• RQ1 다양한 하이퍼볼릭 함수(exp, cosh, sinh)에 대해 동시에 작동하는 통합 알고리즘 프레임워크를 개발할 수 있는가?
• RQ2 매트릭스 노름, 초기화 및 정규화에 대한 현실적인 가정 하에 이러한 프레임워크의 이론적 수렴 보장은 무엇인가?
• RQ3 어텐션 메커니즘에서 비선형적이고 비볼록 유사 함수를 다룰 때에도 입력 희소성 시간 복잡도를 유지할 수 있는가?
• RQ4 이 프레임워크는 모델 가중치나 입력 매트릭스가 변형되는 경우에 대해 얼마나 확장 가능할 수 있는가?
• RQ5 x 또는 A에 대한 변동이 결과 회귀 목표 b에 어떤 영향을 미치며, 이 영향을 고확률로 유 bounds로 제한할 수 있는가?

주요 결과

• 알고리즘은 입력 희소성 시간 복잡도를 확보하며, 총 실행 시간이 O((nnz(A) + d^ω) · poly(log(n/δ)))로 표현되며, 여기서 ω ≈ 2.373은 행렬 곱셈 지수이다.
• 알고리즘은 T = log(‖x₀ − x*‖₂ / ε) 반복 내에서 기하급수적으로 수렴하여, 고확률 1 − δ 하에 ε 정확도 솔루션을 확보한다.
• 헤시안 행렬이 양의 정부호이자 리프시츠 연속임을 증명하여 안정적인 뉴턴 유형 업데이트를 가능하게 한다.
• 프레임워크는 인라인 학습을 지원한다: x에 대한 변동 δx가 존재할 경우, 목표 값의 이동은 M·‖δx‖₂ 이하로 제한되며, 여기서 M = exp(O(R² + log n))이다.
• 매트릭스 A에 대한 변동 ΔA가 존재할 경우, 목표 값의 이동은 M·‖ΔA‖ 이하로 제한되며, M은 문제 파rameter와 차원성에 따라 달라진다.
• 약간의 가정 하에 알고리즘이 강건함을 입증: R ≥ 4, ‖x*‖₂ ≤ R, ‖A‖ ≤ R, ‖b‖₂ ≤ R, 그리고 모든 i에 대해 wᵢ² ≥ 100 + l/σ_min(A)².