[論文レビュー] Finding Root Causes of Floating Point Error with Herbgrind

Alex Sanchez-Stern, Pavel Panchekha+2 more|arXiv (Cornell University)|May 29, 2017

Image and Object Detection Techniques参考文献 23被引用数 9

ひとこと要約

Herbgrind は、C/C++ および Fortran の大規模なアプリケーションにおける浮動小数点エラーの原因を特定するための動的バイナリ解析ツールであり、関数境界や動的確保されたデータを越えた誤差伝播を追跡することで、エラーの根本原因を特定する。符号化された式と入力の特徴化を用いたシャドウ実行により、デバッグ可能で改善可能なコード断片にエラー要因を抽象化し、現実の科学的ソフトウェアにおける非局所的・非結合的・非一様な浮動小数点エラーを正確に診断可能にする。

ABSTRACT

Floating-point arithmetic plays a central role in science, engineering, and finance by enabling developers to approximate real arithmetic. To address numerical issues in large floating-point applications, developers must identify root causes, which is difficult because floating-point errors are generally non-local, non-compositional, and non-uniform. This paper presents Herbgrind, a tool to help developers identify and address root causes in numerical code written in low-level C/C++ and Fortran. Herbgrind dynamically tracks dependencies between operations and program outputs to avoid false positives and abstracts erroneous computations to a simplified program fragment whose improvement can reduce output error. We perform several case studies applying Herbgrind to large, expert-crafted numerical programs and show that it scales to applications spanning hundreds of thousands of lines, correctly handling the low-level details of modern floating point hardware and mathematical libraries, and tracking error across function boundaries and through the heap.

研究の動機と目的

• 大規模で熟練した数値アプリケーションにおける浮動小数点エラーの根本原因を診断するためのツールの不足に対処すること。
• 本番コードにおける非結合的・非局所的・非一様な浮動小数点誤差伝播の課題を克服すること。
• 出力誤差に最も寄与する特定のプログラム断片を特定・改善可能にするため、開発者がそれらを同定できるようにすること。
• 数万行にも及ぶ実世界の科学的応用にまでスケーリング可能な動的浮動小数点エラー解析を実現すること。
• 現代の浮動小数点ハードウェアおよび数学ライブラリと互換性があり、実用的で性能が高く正確なデバッグソリューションを提供すること。

提案手法

• Herbgrind は、コンパイル済みの数値プログラムに対して動的バイナリ解析を実行するために、Valgrind のバイナリインストルメンテーションフレームワークを利用している。
• 中間の丸め誤差を追跡するために、MPFR を用いた高精度値を用いたシャドウ実行を維持している。
• タンタイルクス分析により、演算から出力や制御フローの決定に至るまでの誤差の影響を伝播させている。
• 符号化された式により、誤差に寄与する演算のシーケンスを抽象化し、数値解析とコード改善を可能にしている。
• 入力の特徴化により、顕著な誤差を引き起こす入力範囲（全範囲または部分範囲）を特定し、再現性とデバッグを支援している。
• 関数呼び出し、動的確保、SIMD 指令、ライブラリ関数のラッピングといった複雑な機能をサポートしており、本物のプログラム動作を忠実に再現している。

実験結果

リサーチクエスチョン

• RQ1 低レベル言語で書かれた大規模な実世界の数値アプリケーションにおいて、浮動小数点エラーの根本原因をどのように同定できるか？
• RQ2 記号実行と入力特徴化を併用した動的解析は、浮動小数点エラー診断における誤検出をどの程度低減できるか？
• RQ3 関数境界や動的確保されたデータを越えた誤差を正確に追跡できるように、数万行にも及ぶ熟練した数値コードにスケーリング可能なツールは実現可能か？
• RQ4 Herbgrind の各構成要素（シャドウ実行、符号化された式、入力特徴化）は、その正確性とパフォーマンスにどの程度寄与しているか？
• RQ5 Expert 開発者ですら見逃してしまう、本番の数値ソフトウェアにおける浮動小数点エラーの根本原因を Herbgrind は検出可能か？

主な発見

• Herbgrind は、3 つの大規模で熟練した数値アプリケーションにおいて、開発者によって見逃されたケースも含め、浮動小数点エラーの根本原因を正常に同定した。
• このツールは 300,000 行を超えるコードにまでスケーリングでき、浮動小数点ハードウェアの挙動や数学ライブラリの呼び出しといった複雑な低レベルの詳細を正しく処理した。
• FPBench ベンチマークスイートを用いた制御された実験において、シャドウタンタイル分析、記号実行、入力特徴化の各コンponent が、正確性とパフォーマンスの両面で不可欠であることが示された。
• 関数境界を越えて誤差伝播を正しく追跡し、動的確保されたデータ構造を介して伝播させることに成功したため、非局所的誤差のシナリオにおいても堅牢であることが実証された。
• Herbgrind のアプローチにより、問題のある計算を簡素化された改善可能なプログラム断片に抽象化でき、数値的改善の対象としやすくなった。
• 実装は公開されており、Valgrind フレームワークと統合可能であるため、実際の科学的コンピューティングワークロードへの導入が可能である。