[論文レビュー] EFloat: Entropy-coded Floating Point Format for Deep Learning.

Rajesh Bordawekar, Bülent Abali+1 more|arXiv (Cornell University)|Feb 4, 2021

Numerical Methods and Algorithms参考文献 42被引用数 4

ひとこと要約

EFloat は、頻繁に出現する指数値と符号のエントロピー符号化を活用することで、平均的な指数フィールド幅を短縮し、より精度の高い仮数部にビットを割り当てる新しい浮動小数点形式である。この手法により、FP32 や BFloat16、8ビット浮動小数点形式などの標準形式と比較して、平均して4〜6ビットの有効精度が向上し、メモリ使用量を削減しつつ、低精度の深層学習モデルにおける精度を向上させることができる。

ABSTRACT

We describe the EFloat floating-point number format with 4 to 6 additional bits of precision and a wider exponent range than the existing floating point (FP) formats of any width including FP32, BFloat16, IEEE-Half precision, DLFloat, TensorFloat, and 8-bit floats. In a large class of deep learning models we observe that FP exponent values tend to cluster around few unique values which presents entropy encoding opportunities. The EFloat format encodes frequent exponent values and signs with Huffman codes to minimize the average exponent field width. Saved bits then become available to the mantissa increasing the EFloat numeric precision on average by 4 to 6 bits compared to other FP formats of equal width. The proposed encoding concept may be beneficial to low-precision formats including 8-bit floats. Training deep learning models with low precision arithmetic is challenging. EFloat, with its increased precision may provide an opportunity for those tasks as well. We currently use the EFloat format for compressing and saving memory used in large NLP deep learning models. A potential hardware implementation for improving PCIe and memory bandwidth limitations of AI accelerators is also discussed.

研究の動機と目的

• 大規模な深層学習モデルにおけるメモリと帯域幅のボトル neck を解消するために、より効率的な浮動小数点形式の設計を目的とする。
• 深層学習ワークロードにおける指数値のエントロピー分布を活用し、特定の指数値が他の値よりもはるかに頻繁に出現することを活かす。
• ビット幅を増加させずに、低精度形式（例：8ビット、16ビット）の有効精度を向上させるために、指数と符号のエントロピー符号化を活用する。
• 量子化誤差を低減することで、精度の向上を実現し、低精度の深層学習における訓練および推論の精度を向上させる。
• 最小限の精度損失で大規模な NLP モデルの重みを圧縮・保存できる実用的な形式を提供すること。

提案手法

• EFloat 形式は、頻繁に出現する指数値と符号の組み合わせをハフマン符号化することで、その表現コストを低減する。
• 高頻度の指数および符号パターンに短いコードを割り当てることで、標準的な浮動小数点形式よりも平均的な指数フィールド幅を短縮する。
• 圧縮された指数フィールドから得られる余剰ビットを仮数部に再割り当てし、平均して4〜6ビットの有効精度を向上させる。
• 既存の深層学習フレームワークおよびハードウェアと互換性を持つように設計されており、モデル圧縮およびメモリ節約の分野での展開が可能である。
• FP32 や BFloat16、8ビット浮動小数点形式など、同じビット幅を持つ既存の浮動小数点形式に適用することで、ビット幅を増加させずに精度を向上させる。
• AIアクセラレータにおけるPCIeおよびメモリ帯域幅の制限を改善するため、データ移動を低減するハードウェア実装の可能性を提案する。

実験結果

リサーチクエスチョン

• RQ1 浮動小数点形式における指数値と符号のエントロピー符号化は、平均的なフィールド幅を短縮し、仮数部の精度向上に必要なビットを空けることができるか？
• RQ2 EFloat は、BFloat16 や8ビット浮動小数点形式などの標準的な低精度形式と比較して、どの程度有効精度を向上させることができるか？
• RQ3 EFloat は、特に大規模なNLPモデルにおいて、メモリ圧縮と精度の観点から、実世界の深層学習ワークロードでどの程度の性能を示すか？
• RQ4 EFloat は、AIアクセラレータにおけるメモリ帯域幅とデータ移動にどのような影響を及える可能性があるか？
• RQ5 EFloat は、量子化誤差を低減することで、低精度の深層学習におけるより正確な訓練を可能にするか？

主な発見

• EFloat は、FP32 や BFloat16 などの同サイズの標準浮動小数点形式と比較して、平均して4〜6ビットの追加的な有効精度を達成する。
• 深層学習ワークロードにおける特定の指数値の高頻度発生を活用することで、平均的な指数フィールド幅を短縮し、ビットの節約を実現する。
• 節約されたビットは仮数部に再割り当てされ、総ビット幅を増加させることなく、数値の精度を向上させる。
• EFloat は、特に高メモリ要件を示す大規模なNLPモデルにおいて、より正確なモデル圧縮および保存を可能にする。
• EFloat は、データ移動を低減することで、メモリ帯域幅の圧力を軽減するため、ハードウェアアクセラレーションの可能性を示す。
• エントロピー符号化アプローチは、8ビット浮動小数点形式やその他の低精度形式にも適用可能であり、新興の低精度AIワークロードへの応用性を拡張する。