[論文レビュー] Accurate Computation of the Log-Sum-Exp and Softmax Functions

Pierre Blanchard, Desmond J. Higham+1 more|arXiv (Cornell University)|Sep 8, 2019

Numerical Methods and Algorithms参考文献 15被引用数 6

ひとこと要約

この論文は、log-sum-expおよびsoftmax関数を計算するためのシフト付きアルゴリズムのきめ細かな丸め誤差解析を提供しており、入力の最大値でシフトすることで、精度を保持し、場合によっては除算を避ける代替手法を上回ることを示している。主な貢献は、相対誤差が条件数および機械精度に比例することを示す理論的境界の確立であり、実際の応用においてシフトが広く用いられていることを裏付けている。

ABSTRACT

Evaluating the log-sum-exp function or the softmax function is a key step in many modern data science algorithms, notably in inference and classification. Because of the exponentials that these functions contain, the evaluation is prone to overflow and underflow, especially in low precision arithmetic. Software implementations commonly use alternative formulas that avoid overflow and reduce the chance of harmful underflow, employing a shift or another rewriting. Although mathematically equivalent, these variants behave differently in floating-point arithmetic. We give rounding error analyses of different evaluation algorithms and interpret the error bounds using condition numbers for the functions. We conclude, based on the analysis and numerical experiments, that the shifted formulas are of similar accuracy to the unshifted ones and that the shifted softmax formula is typically more accurate than a division-free variant.

研究の動機と目的

• 浮動小数点算術におけるシフト付きアルゴリズムがlog-sum-expおよびsoftmax関数を計算する際の数値的精度を分析すること。
• bfloat16、fp16、fp32などの低精度形式における、シフト（例：max(x_i)の使用）が丸め誤差に与える影響を定量化すること。
• シフト付きおよび非シフト付き、除算を避けるバージョンのsoftmax関数の精度を比較すること。
• 条件数および浮動小数点誤差解析を用いて理論的誤差境界を提示すること。
• オーバーフローおよびアンダーフローを防ぎつつ精度を維持するシフト付きアルゴリズムの実用的安定性を検証すること。

提案手法

• オーバーフローおよびアンダーフローを回避するため、y = a + log(1 + sum(exp(x_i - a))) というシフト付きアルゴリズムを提案する。ここで a = max(x_i) である。
• 標準的な浮動小数点誤差境界を用いて、指数関数の和の評価および最終的な log1p 操作における丸め誤差を分析する。
• 計算された log-sum-exp 値の相対誤差境界を導出する：|(y - ŷ)/y| ≤ |(y + n - x_min)/y| u + O(u²)。ここで u は単位丸め誤差である。
• softmax 関数に対しても同様の解析を適用し、シフト付きバージョンが除算を避ける代替手法よりも一般的に精度が良いことを示す。
• 関数の感度を解釈し、誤差境界を文脈づけるために条件数解析を用いる。
• テイラー展開および摂動解析を用いて、log1p および指数関数的演算における誤差伝播を制限する。

実験結果

リサーチクエスチョン

• RQ1 入力を最大値でシフトすることにより、浮動小数点算術におけるlog-sum-exp関数の相対誤差にどのような影響を与えるか？
• RQ2 特に低精度形式において、シフト付きlog-sum-expアルゴリズムは非シフト付きまたは除算を避ける代替手法よりも精度が高いか？
• RQ3 シフト付きlog-sum-exp計算の理論的誤差境界は何か？また、関数の条件数とどのように関係しているか？
• RQ4 シフト付きアルゴリズムの最終段階で log1p を使用することで、有害なアンダーフローを防ぎつつ精度を維持できるか？
• RQ5 実際の応用において、なぜシフト付きsoftmax関数は除算を避ける対応するバージョンよりも精度が高いのか？

主な発見

• シフト付きlog-sum-expアルゴリズムは、|(y + n - x_min)/y| u + O(u²) で抑えられる相対誤差を達成し、これは条件数および機械精度に比例する。
• シフト付きアルゴリズムはオーバーフローを回避し、有害なアンダーフローを緩和する。アンダーフローした項は和において無視できるためである。
• 数値実験により、シフト付きアルゴリズムは一般的に除算を避けるsoftmaxバージョンよりも精度が良いことが確認された。
• 解析により、シフトが精度を低下させず、大きな指数関数の影響を低減することで精度を向上させられることを示した。
• 最終段階での log1p の使用により、s が小さい場合でも log(1 + s) の安定的評価が保証される。
• 誤差境界はきめ細かく、bfloat16 や fp16 を含むさまざまな精度において、シフト手法の強力な安定性を説明している。