[論文レビュー] TensorFI: A Flexible Fault Injection Framework for TensorFlow Applications

Zitao Chen, Niranjhana Narayanan+4 more|arXiv (Cornell University)|Apr 3, 2020

Radiation Effects in Electronics参考文献 19被引用数 4

ひとこと要約

TensorFI は、元のコードを変更せずに実行時において演算子レベルおよびグラフレベルでハードウェアおよびソフトウェアの故障を注入できる、柔軟で高水準な TensorFlow 応用向けソフトウェア故障注入フレームワークである。Python で実装された並列でインストルメンテッドなグラフを用いることで、平均 1.5 倍の低パフォーマンスオーバーヘッドを達成し、自律走行車両用 DNN を含む 12 個の ML モデルにおける効果的なレジliエンス評価を実証した。

ABSTRACT

As machine learning (ML) has seen increasing adoption in safety-critical domains (e.g., autonomous vehicles), the reliability of ML systems has also grown in importance. While prior studies have proposed techniques to enable efficient error-resilience techniques (e.g., selective instruction duplication), a fundamental requirement for realizing these techniques is a detailed understanding of the application's resilience. In this work, we present TensorFI, a high-level fault injection (FI) framework for TensorFlow-based applications. TensorFI is able to inject both hardware and software faults in general TensorFlow programs. TensorFI is a configurable FI tool that is flexible, easy to use, and portable. It can be integrated into existing TensorFlow programs to assess their resilience for different fault types (e.g., faults in particular operators). We use TensorFI to evaluate the resilience of 12 ML programs, including DNNs used in the autonomous vehicle domain. Our tool is publicly available at https://github.com/DependableSystemsLab/TensorFI.

研究の動機と目的

• 自律走行車両や航空分野を含む、安全を要する機械学習システムにおける信頼性と故障耐性を評価するニーズの増大に対応する。
• 低レベルのコードでのみ動作する、または TensorFlow のような高水準な ML フレームワークと互換性のない既存の故障注入ツールの限界を克服する。
• 元のモデルや実行時動作を変更せずに、TensorFlow グラフおよび演算子レベルで動作する、ポータブルで設定可能でパフォーマンスの高い故障注入フレームワークを構築する。
• 異なる故障タイプ（例：ビット反転、ランダム値の置き換え）が多様な ML 応用分野におけるモデル出力に与える影響を体系的かつ評価可能にする。
• 故障注入ロジックを別々のオプション実行パスに分離することで、外部ライブラリとの互換性を確保し、通常実行時のパフォーマンスを維持する。

提案手法

• 元のモデルの演算子を再現するが、設定可能な故障注入機能を備えた、並列でインストルメンテッドな TensorFlow グラフ（FI グラフ）を構築する。
• 低レベルの C++ やアセンブリの変更を避けるために、ポータビリティと設定のしやすさを確保するため、Python で故障注入演算子を実装する。
• 設定フラグに応じて、元の演算子と FI 変種の演算子の実行をランタイムディスpatchで選択することで、故障が無効な場合のパフォーマンスへの影響を最小限に抑える。
• TensorFlow 演算子の出力部分に故障を注入し、複数の故障タイプ（単一ビット反転、ランダム値の置き換え、誤り率ベースの注入）をサポートする。
• サードパーティライブラリが TensorFlow のグラフ構造に依存する場合でも、元のグラフと構造的・意味的に互換性を保つことで、機能を維持する。
• 最小限のコード変更で既存の TensorFlow 応用に統合可能であり、スムーズなレジリエンス評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 元のモデルを変更せず、かつ通常実行時のパフォーマンスに著しい影響を与えない状態で、TensorFlow グラフレベルでの故障注入をどのように効果的に行えるか？
• RQ2 実世界の TensorFlow 応用に故障注入フレームワークを統合した際のパフォーマンスオーバーヘッドはどの程度か？
• RQ3 異なる故障タイプ（例：ビット反転、ランダム置換）が、安全を要する応用分野における深層ニューラルネットワークの出力に与える影響はいかほどか？
• RQ4 TensorFI は、自律走行車両で使用されるような実世界の ML モデルのレジリエンスをどの程度効果的に評価できるか？
• RQ5 外部ライブラリが元の TensorFlow グラフ構造に依存する場合でも、フレームワークをポータブルかつ互換性を持たせることは可能か？

主な発見

• 故障注入が無効な状態では、TensorFI は平均で 1.5 倍のパフォーマンスオーバーヘッドにとどまり、通常実行時の干渉を最小限に抑えるという目標を達成した。
• 故障注入のオーバーヘッドは、Python 層での演算子エミュレーションのため、21 倍から 131 倍にのぼるが、本フレームワークは分析用途であり、本番環境での使用を想定していないため、これは妥当である。
• 最も時間がかかった実験（ResNet および Highway CNN）でも、16 時間未満で完了し、10,000 回の故障注入を実行するほとんどの実験は 3～4 時間で完了した。
• ビット反転による故障注入では、GAN 生成画像により顕著なバイポーラ（白黒）アーティファクトが生じたが、ランダム置換ではより多様な画素強度が観察された。
• 本フレームワークは、自律走行車両関連の DNN を含む 12 種類の多様なモデルにおいて、レジリエンス評価を成功裏に実施した。これにより、安全を要する ML システム検証における実用性が裏付けられた。
• 元のグラフ構造を変更しないことで、TensorFI は外部ライブラリとの互換性を維持しており、依存するツールが正しく動作し続けることを保証した。