[論文レビュー] FTT-NAS: Discovering Fault-Tolerant Neural Architecture.

Xuefei Ning, Guangjun Ge+7 more|arXiv (Cornell University)|Mar 20, 2020

Advanced Neural Network Applications参考文献 48被引用数 8

ひとこと要約

本論文は、ソフトエラーおよび重みの損傷などのハードウェア故障に対して本質的に耐性を持つ畳み込みニューラルネットワークアーキテクチャを発見する、神経ネットワークアーキテクチャ探索フレームワークであるFTT-NASを提案する。故障耐性学習を探索プロセスに統合することにより、FTT-NASは特徴量の故障下で86.2%の精度（MobileNet-V2の68.1%対比）および重みの故障下で69.6%の精度（ResNet-20の60.8%対比）を達成し、FLOPsとパラメータ数はベースラインと同等の水準を維持した。

ABSTRACT

With the fast evolvement of embedded deep-learning computing systems, applications powered by deep learning are moving from the cloud to the edge. When deploying neural networks (NNs) onto the devices under complex environments, there are various types of possible faults: soft errors caused by cosmic radiation and radioactive impurities, voltage instability, aging, temperature variations, and malicious attackers. Thus the safety risk of deploying NNs is now drawing much attention. In this paper, after the analysis of the possible faults in various types of NN accelerators, we formalize and implement various fault models from the algorithmic perspective. We propose Fault-Tolerant Neural Architecture Search (FT-NAS) to automatically discover convolutional neural network (CNN) architectures that are reliable to various faults in nowadays devices. Then we incorporate fault-tolerant training (FTT) in the search process to achieve better results, which is referred to as FTT-NAS. Experiments on CIFAR-10 show that the discovered architectures outperform other manually designed baseline architectures significantly, with comparable or fewer floating-point operations (FLOPs) and parameters. Specifically, with the same fault settings, F-FTT-Net discovered under the feature fault model achieves an accuracy of 86.2% (VS. 68.1% achieved by MobileNet-V2), and W-FTT-Net discovered under the weight fault model achieves an accuracy of 69.6% (VS. 60.8% achieved by ResNet-20). By inspecting the discovered architectures, we find that the operation primitives, the weight quantization range, the capacity of the model, and the connection pattern have influences on the fault resilience capability of NN models.

研究の動機と目的

• 宇宙線、電圧の不安定性、および老化などによるハードウェア故障にさらされるエッジデバイスに深層ニューラルネットワークを導入する際の増大する安全性のリスクに対処する。
• さまざまな種類のニューラルネットワークアクセラレータ用のアルゴリズム的故障モデルを形式化し、現実の故障状態をシミュレートする。
• 多様な故障タイプに本質的に耐性を持つニューラルアーキテクチャを自動で発見する、FTT-NASと呼ばれる自動探索フレームワークを開発する。
• モデルの複雑さを増加させることなく、故障耐性学習をNASプロセスに統合して耐性を強化する。

提案手法

• アルゴリズム的視点から故障モデルを形式化し、現実の故障状態下での特徴量および重みのソフトエラーをシミュレートする。
• 故障モデルを制約条件として統合した微分可能なニューラルアーキテクチャ探索（NAS）フレームワークを設計する。
• 故障耐性学習（FTT）を探索プロセスに統合し、故障を注入した状態でモデルを学習させることで耐性を向上させる。
• 故障耐性アーキテクチャを探索可能な探索空間として、演算プリミティブ、重みの量子化範囲、モデル容量、接続パターンを含める。
• 故障状態下での精度を最大化するとともに、FLOPsとパラメータ数を最小化するように探索目的を最適化する。
• 制御された故障注入を用いて発見されたアーキテクチャの耐性を測定し、異なる故障タイプにおける耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 エッジAIシステムにおけるハードウェア故障に対して本質的に耐性を持つアーキテクチャを発見するために、ニューラルアーキテクチャ探索を効果的に拡張できるか？
• RQ2 標準的なNASと比較して、NASプロセスに故障耐性学習を統合することで、故障耐性はどの程度向上するか？
• RQ3 演算プリミティブ、重みの量子化、モデル容量、接続パターンといったアーキテクチャ的要素のうち、故障耐性に最も顕著に影響を与えるのはどれか？
• RQ4 手動設計されたモデルと比較して、FTT-NASは故障状態下でより高い精度を達成しながら、FLOPsとパラメータ数を低く抑えることができるか、その程度はいかほどか？

主な発見

• 特徴量の故障モデル下では、F-FTT-NetがCIFAR-10で86.2%の精度を達成した。これは、同様の故障条件下でMobileNet-V2が達成した68.1%を大きく上回った。
• 重みの故障モデル下では、W-FTT-Netが69.6%の精度を達成した。これは、同一の故障設定下でResNet-20が達成した60.8%を上回った。
• 発見されたアーキテクチャは、特定の演算プリミティブ、最適化された重みの量子化範囲、および調整されたモデル容量を用いることで、より高い故障耐性を示した。
• 発見されたアーキテクチャにおける接続パターンは、故障注入下でも性能を維持する上で重要な役割を果たした。
• NASプロセス中に故障耐性学習を統合することで、耐性が顕著に向上した。これは、エンドツーエンドの故障に配慮したアーキテクチャ探索の有効性を示している。
• FTT-NASフレームワークは、ベースラインモデルと比較して、FLOPsとパラメータ数を少なく抑えながらも、競争力のある性能を達成した。これは、効率性と耐性の両立を示している。