[論文レビュー] ZOFI: Zero-Overhead Fault Injection Tool for Fast Transient Fault Coverage Analysis

Vasileios Porpodas|arXiv (Cornell University)|Jun 22, 2019

Radiation Effects in Electronics参考文献 39被引用数 6

ひとこと要約

ZOFI は、ネイティブハードウェア上で変更なしのバイナリをネイティブ速度で実行するゼロオーバーヘッドでタイミングに基づく故障挿入ツールであり、瞬間的故障のカバレッジ分析を高速かつ正確に可能にする。実行を一時停止し、レジスタのビットフィップを挿入してからネイティブに再開することで、シミュレーターやインストルメンテーションベースのツールと比べて数個のオーダーの高速化を達成しながら、ソフトウェアベースのエラー検出研究における故障カバレッジ評価の統計的正確性を維持する。

ABSTRACT

The experimental evaluation of fault-tolerance studies relies on tools that inject errors while programs are running, and then monitor the execution and the output for faulty execution. In particular, the established methodology in software-based transient-fault reliability studies, involves running each workload hundreds or thousands of times, injecting a random bit-flip in the process. The majority of such studies rely on custom-built fault-injection tools that are based on either a modified processor simulator, or a code instrumentation framework. Such tools are non-trivial to develop, and are usually orders of magnitude slower than native execution. In this paper we present ZOFI, a novel timing-based fault-injection tool that is aimed at being used in fault-coverage studies for transient faults. ZOFI is a zero-overhead tool, meaning that the analyzed workload runs at native speed. This is orders-of-magnitude faster compared to common approaches that are designed around simulators or code instrumentation tools. ZOFI is free software and is available at https://github.com/vporpo/zofi.

研究の動機と目的

• シミュレーションやバイナリインストルメンテーションに依存する既存の故障挿入ツールが、ネイティブ実行と比べて数個のオーダーも遅いため生じる性能ボトルネックを解消すること。
• ネイティブハードウェア実行を活用することで、ソフトウェアベースのエラー検出技術のための高速でスケーラブルかつ正確な瞬間的故障カバレッジ分析を可能にすること。
• パフォーマンス劣化やアーキテクチャの不正確さが生じない、無料でオープンソースのツールを提供し、統計的故障カバレッジ評価を可能にすること。
• タイミングベースの故障挿入が実ハードウェア上で実施された場合、サイクル正確なシミュレータと同等の統計的に信頼性のある結果が得られることを検証すること。

提案手法

• ZOFI は、変更なしのバイナリをネイティブ x86_64 Linux システム上で、インストルメンテーションやシミュレーションを一切行わずに、フルスピードで実行する。
• ユーザーが定義した時間点で実行を一時停止し、指定されたレジスタ（例：入力レジスタ、出力レジスタ、命令ポインタ）に対して1ビットのフィップを挿入してから、実行を再開する。
• ツールはプログラムの出力と実行動作を監視し、結果を破損、例外、無限実行、マスクされたエラーのいずれかに分類する。
• デバッグツール（例：GDB）を介して、制御された一時停止中にレジスタ状態を変更することで故障挿入を実行し、実行時への影響を最小限に抑える。
• 数千回の実行で統計的結果を収集し、完了後に要約する。テストパラメータの設定や出力比較のサポートも可能である。
• ツールは C++ で実装されており、GPL v2.0 ライセンスで配布され、コミュニティによる利用および拡張を目的として GitHub にホスティングされている。

実験結果

リサーチクエスチョン

• RQ1 実ハードウェア上でタイミングベースの故障挿入を実施した場合、サイクル正確なシミュレータと同等の統計的に信頼性のある結果が得られるか？
• RQ2 実世界のワークロードにおいて、ZOFI の実行速度は、従来のシミュレーターやインストルメンテーションベースの故障挿入ツールと比べてどの程度高速か？
• RQ3 テスト実行回数の増加が、ZOFI を用いた故障カバレッジ測定の正確性と標準偏差に与える影響は何か？
• RQ4 命令ポインタなどの重要なレジスタに対してビットフィップを挿入した場合、ZOFI は故障カバレッジ分析の正確性を維持できるか？

主な発見

• ZOFI はネイティブ速度での実行を実現し、シミュレーターやインストルメンテーションベースのツールと比べて、数個のオーダーの高速化を達成した故障カバレッジ評価を実現した。
• 10回の繰り返しにおける故障カバレッジ結果の算術平均は、たとえ50回のテスト実行しか行わなくても、素早く安定し、信頼性の高い推定値を示した。
• 故障カバレッジ結果の標準偏差は、テスト実行回数の増加に伴い減少するが、その減少率は低下し、ある点を過ぎると限界効果が現れる。
• 命令ポインタへの故障挿入は、無効なアドレスへのジャンプが予想通りに多く発生するため、例外の発生が著しく増加した。
• ZOFI は故障カバレッジ分析において高い統計的正確性を示し、複数回の繰り返しにおいて一貫した結果を出しており、NPB2.3 サイズのさまざまなベンチマークにおいてスケーラブルであることが確認された。
• ツールはエラー検出技術の評価に有効であり、破損、例外、無限実行、マスクされたエラーといった結果の分類を高い忠実度で正しく行えた。