[논문 리뷰] Accurate Computation of the Log-Sum-Exp and Softmax Functions

Pierre Blanchard, Desmond J. Higham외 1명|arXiv (Cornell University)|2019. 09. 08.

Numerical Methods and Algorithms참고 문헌 15인용 수 6

한 줄 요약

이 논문은 로그합지수(log-sum-exp) 및 소프트맥스(softmax) 함수를 계산하기 위한 시프트된 알고리즘의 엄밀한 반올림 오차 분석을 제공하며, 입력값의 최댓값으로 시프트하는 것이 정확도를 유지하고 종종 나눗셈이 없는 대안보다도 향상시킨다는 것을 보여준다. 주요 기여는 상대 오차가 조건수와 기계 정밀도에 비례한다는 이론적 경계를 제시한 것으로, 실무에서 시프트 기법이 널리 사용되는 것을 정당화한다.

ABSTRACT

Evaluating the log-sum-exp function or the softmax function is a key step in many modern data science algorithms, notably in inference and classification. Because of the exponentials that these functions contain, the evaluation is prone to overflow and underflow, especially in low precision arithmetic. Software implementations commonly use alternative formulas that avoid overflow and reduce the chance of harmful underflow, employing a shift or another rewriting. Although mathematically equivalent, these variants behave differently in floating-point arithmetic. We give rounding error analyses of different evaluation algorithms and interpret the error bounds using condition numbers for the functions. We conclude, based on the analysis and numerical experiments, that the shifted formulas are of similar accuracy to the unshifted ones and that the shifted softmax formula is typically more accurate than a division-free variant.

연구 동기 및 목표

• 부동소수점 산술에서 로그합지수 및 소프트맥스 함수를 계산하기 위한 시프트된 알고리즘의 수치적 정확도를 분석하는 것.
• bfloat16, fp16, fp32 등의 저밀도 정밀도 형식에서 시프트(예: max(x_i) 사용)가 반올림 오차에 미치는 영향을 정량화하는 것.
• 소프트맥스 함수의 시프트된 버전과 비시프트된, 나눗셈이 없는 변형 간의 정확도를 비교하는 것.
• 조건수와 부동소수점 오차 분석을 활용한 이론적 오차 경계를 제공하는 것.
• 시프트된 알고리즘이 오버플로우 및 언더플로우를 방지하면서도 정확도를 유지하는 실무적 안정성을 검증하는 것.

제안 방법

• 오버플로우 및 언더플로우를 방지하기 위해 a = max(x_i)로 설정된 시프트된 알고리즘을 제안: y = a + log(1 + sum(exp(x_i - a)))
• 표준 부동소수점 오차 경계를 사용하여 지수 합의 평가 및 최종 log1p 연산에서 발생하는 반올림 오차를 분석한다.
• 계산된 로그합지수 값에 대한 상대 오차 경계를 유도한다: |(y - ŷ)/y| ≤ |(y + n - x_min)/y| u + O(u²), 여기서 u는 유닛 반올림 오차이다.
• 유사한 분석을 소프트맥스 함수에 적용하여, 시프트된 버전이 일반적으로 나눗셈이 없는 대안보다 더 정확하다는 것을 보여준다.
• 함수의 민감도를 해석하고 오차 경계를 맥락화하기 위해 조건수 분석을 활용한다.
• 테일러 급수 전개와 변동 분석을 사용하여 log1p 및 지수 연산에서의 오차 전파를 경계한다.

실험 결과

연구 질문

• RQ1 입력을 최댓값으로 시프트할 경우, 부동소수점 산술에서 로그합지수 함수 계산 시 상대 오차에 어떤 영향을 미치는가?
• RQ2 특히 저밀도 정밀도 형식에서, 시프트된 로그합지수 알고리즘이 비시프트 또는 나눗셈이 없는 변형보다 더 정확한가?
• RQ3 시프트된 로그합지수 계산에 대한 이론적 오차 경계는 무엇이며, 이는 함수의 조건수와 어떻게 관련되는가?
• RQ4 시프트된 알고리즘의 최종 단계에서 log1p를 사용하면 유해한 언더플로우를 방지하면서도 정확도를 유지할 수 있는가?
• RQ5 실제로 왜 시프트된 소프트맥스 함수는 나눗셈이 없는 대비보다 더 정확한가?

주요 결과

• 시프트된 로그합지수 알고리즘은 |(y + n - x_min)/y| u + O(u²)로 상한이 설정된 상대 오차를 달성하며, 이는 조건수와 기계 정밀도에 비례한다.
• 시프트된 알고리즘은 오버플로우를 방지하고, 언더플로우가 발생한 항목이 합에 미치는 영향이 무시할 만큼 작기 때문에 해로운 언더플로우를 완화한다.
• 수치 실험 결과 시프트된 알고리즘이 일반적으로 나눗셈이 없는 소프트맥스 변형보다 더 정확하다는 것이 확인되었다.
• 분석 결과 시프트가 정확도를 떨어뜨리지 않으며, 큰 지수 항의 영향을 줄여 정확도를 향상시킬 수 있다는 것이 밝혀졌다.
• 최종 단계에서 log1p를 사용함으로써, s가 작을 경우에도 log(1 + s)의 안정적인 평가가 보장된다.
• 오차 경계는 날카롭고, 시프트된 방법이 bfloat16 및 fp16를 포함한 다양한 정밀도에서 안정적임을 설명한다.