[論文レビュー] Reactive NaN Repair for Applying Approximate Memory to Numerical Applications

Shinsuke Hamada, Soramichi Akiyama+1 more|arXiv (Cornell University)|Mar 26, 2018

Parallel Computing and Optimization Techniques参考文献 11被引用数 3

ひとこと要約

本論文は、数値HPCおよびAIワークロードにおける近似メインメモリにおいて、x86浮動小数点例外を用いてNaNをリアルタイムで検出・修復する反応型NaN修復メカニズムを提案する。非致命的数値誤差は無視され、わずかなオーバーヘッドでエネルギー効率の高い近似計算を実現しつつ、結果の妥当性を損なわない。

ABSTRACT

Applications in the AI and HPC fields require much memory capacity, and the amount of energy consumed by main memory of server machines is ever increasing. Energy consumption of main memory can be greatly reduced by applying approximate computing in exchange for increased bit error rates. AI and HPC applications are to some extent robust to bit errors because small numerical errors are amortized by their iterative nature. However, a single occurrence of a NaN due to bit-flips corrupts the whole calculation result. The issue is that fixing every bit-flip using ECC incurs too much overhead because the bit error rate is much higher than in normal environments. We propose a low-overhead method to fix NaNs when approximate computing is applied to main memory. The main idea is to reactively repair NaNs while leaving other non-fatal numerical errors as-is to reduce the overhead. We implemented a prototype by leveraging floating-point exceptions of x86 CPUs, and the preliminary evaluations showed that our method incurs negligible overhead.

研究の動機と目的

• ビット反転によって生じる1つのNaNが、近似メモリにおける数値計算全体を破壊するという深刻な問題に対処する。
• より高いビット誤り率を許容する近似計算を適用することで、HPCおよびAIワークロードにおけるメインメモリのエネルギー消費を低減する。
• ECCによる完全な誤り訂正を避けることで、オーバーヘッドを最小限に抑え、すべてのビット反転ではなく、致命的なNaN誤りにのみ焦点を当てる。
• 特定のNaN修復を介して結果の整合性を保証することで、数値アプリケーションにおける近似メモリの実用的導入を可能にする。
• ハードウェアに依存しない柔軟で低オーバーヘッドのソリューションを提供し、アプリケーション固有のNaN回復論理に適応可能にする。

提案手法

• x86浮動小数点例外メカニズムを活用し、浮動小数点演算中に生成されたNaNをリアルタイムで検出する。
• NaNによって引き起こされる浮動小数点例外をインタセプトする反応型修復ハンドラを実装し、NaNを安全でアプリケーション固有の値に置き換える。
• 非致命的数値誤差（NaNを生成しない小さなビット反転）は訂正せず、無駄なオーバーヘッドを回避する。
• すべてのビット反転に対してハードウェアベースのECC訂正を行う高コストを避けるために、ソフトウェアベースの例外処理メカニズムを採用する。
• 異なる値（例：0.0、1.0、またはその他のヒューリスティクス）をアプリケーションの文脈に応じて使用できるように、修復論理を拡張可能に設計する。
• 標準的なx86命令セット拡張子を用いてプロトタイプシステムに統合することで、互換性と低ランタイムコストを確保する。

実験結果

リサーチクエスチョン

• RQ1 反応的で例外駆動型のアプローチにより、性能オーバーヘッドを無視できる程度にNaNを修復できるか？
• RQ2 すべてのビット反転に対してECC訂正を実施するのを避け、NaNのみを特定的に修復することで、非致命的数値誤差を許容しつつ実現可能か？
• RQ3 従来のECCベースの誤り訂正と比較して、提案手法のオーバーヘッドはどの程度か？
• RQ4 反復的性質を持つHPCおよびAIワークロードにおいて、小さな誤差に強くNaNの拡散に弱い数値ワークロードに、この手法は効果的に適用可能か？
• RQ5 ハードウェア誤り訂正に依存せず、アプリケーション固有の値でNaNを修復することの実用的意味は何か？

主な発見

• x86ベースのプロトタイプ上で実施された予備評価により、提案された反応型NaN修復手法は、性能オーバーヘッドが無視できるほど小さいことが確認された。
• すべてのビット反転ではなく、NaNにのみ対処することで、ECCによる完全な誤り耐性確保と比較して、誤り耐性コストを顕著に低減できる。
• 本手法は、行列演算や線形代数計算におけるNaN伝搬による深刻な障害を効果的に防止できる。
• 既存のx86浮動小数点例外メカニズムと互換性があるため、アーキテクチャ変更なしに効率的に統合可能である。
• 非致命的数値誤差（NaNを生成しない小さなビット反転）は、HPCおよびAIワークロードの反復的性質により、安全に無視できる。
• ワークロードの特性に基づいて最適なNaN修復値を決定するための今後の研究の基盤として、本手法は柔軟な基盤を提供する。