[論文レビュー] Enhancing Fault Tolerance of Neural Networks for Security-Critical Applications

Manaar Alam, Arnab Bag+5 more|arXiv (Cornell University)|Feb 5, 2019

Adversarial Robustness in Machine Learning参考文献 11被引用数 6

ひとこと要約

この論文は、セキュリティが重要な応用分野向けに、部分的なフォールト耐性（PFT）が著しく向上したニューラルネットワーク（NN）ベースのAES S-Boxを提案している。訓練中に解析的に導かれた制約を適用することにより、フォールトインジェクション下でも誤った出力の確率が1.21×10⁻⁵%に抑えられ、Artix-7上でFPGAおよびソフトウェア実装を用いて検証された。これはフォールト耐性とハードウェアオーバーヘッドの良好なトレードオフを示している。

ABSTRACT

Neural Networks (NN) have recently emerged as backbone of several sensitive applications like automobile, medical image, security, etc. NNs inherently offer Partial Fault Tolerance (PFT) in their architecture; however, the biased PFT of NNs can lead to severe consequences in applications like cryptography and security critical scenarios. In this paper, we propose a revised implementation which enhances the PFT property of NN significantly with detailed mathematical analysis. We evaluated the performance of revised NN considering both software and FPGA implementation for a cryptographic primitive like AES SBox. The results show that the PFT of NNs can be significantly increased with the proposed methodology.

研究の動機と目的

• 暗号などのセキュリティが重要な応用分野におけるニューラルネットワークの部分的フォールト耐性（PFT）を向上させること。
• レーザーまたはクロックギャップなどの標的フォールトインジェクション攻撃に対して脆弱な従来の暗号実装の問題を解決すること。
• 従来のLUTベースの実装を上回るフォールト耐性を示すニューラルネットワークベースのAES S-Boxを設計すること。
• 精度を損なわずにフォールト耐性を体系的に向上させる制約付き学習戦略を開発すること。
• 提案されたフォールト耐性のあるNNアーキテクチャのFPGAプラットフォーム上でのハードウェアおよびソフトウェアオーバーヘッドを評価すること。

提案手法

• 8ビットの入力を8ビットのS-Box出力にマッピングするため、ReLUおよびソフトマックス活性化関数を用いた順方向ニューラルネットワークを勾配降下バックプロパゲーションで訓練する。
• パラメータフォールトに対する耐性を高めるために、訓練中にネットワークの重みおよびバイアスに解析的制約を適用する。
• Xilinx Artix-7 FPGA上で20ビットの固定小数点演算とDSPブロックを活用したハードウェア最適化された整数重みNNを設計する。
• 256個のニューロンを効率的に処理するため、8つの並列計算ユニットを設計し、出力ニューロンを選択するArgMaxブロックを統合する。
• 実際の環境条件下でのフォールト耐性を検証するため、オンチップフォールトインジェクションにクロックギャップを用いる。
• 8-8-256、8-32-256、8-64-256、8-128-256の複数のNNアーキテクチャと、標準のLUTベースのS-Boxとの間でフォールト率を比較する。

実験結果

リサーチクエスチョン

• RQ1 制約付き学習を用いることで、従来の暗号S-Box実装に比べ、ニューラルネットワークのフォールト耐性を著しく向上させることができるか？
• RQ2 NNベースの暗号プリミティブにおいて、フォールト耐性とハードウェアリソースオーバーヘッドのトレードオフはいかなるものか？
• RQ3 提案された制約付き学習手法は、フォールトインジェクション攻撃下での誤った出力の確率にどのように影響を与えるか？
• RQ4 FPGA上で実装されたNNベースのS-Boxは、実用的なフォールト耐性を達成しつつ、妥当なパフォーマンスと面積使用量を維持できるか？
• RQ5 隠れ層のニューロン数を増加させるとともにパrameter制約を適用することで、フォールト耐性に顕著な改善が得られるか？

主な発見

• 8-128-256 NNアーキテクチャは、フォールトインジェクション下でも1.21×10⁻⁵%の部分的フォールト耐性（PFT）を達成した。
• 面積効率に優れるLUTベースのAES S-Boxは、0.00385%のフォールト率を示し、制約付きNN設計よりも顕著に高い値であった。
• 8-128-256アーキテクチャは、Artix-7 FPGA上で128.66 MHzで動作し、601スライス（7.37%）、1442 LUT（6.93%）、33 DSP（36.67%）を消費した。
• 制約付き学習戦略により、制約なしの大きな8-128-256ネットワークと同等のPFTを達成できる、より小型の8-64-256ネットワークが実現された。
• オンチップフォールトインジェクション実験により、シミュレーション結果が検証され、提案された学習戦略の堅牢性が裏付けられた。
• 8-128-256設計は、面積および遅延オーバーヘッドが高かったものの、評価されたすべての実装の中で最高のフォールト耐性（最小のフォールト率）を達成した。