[論文レビュー] A Study of Deep Learning Robustness Against Computation Failures

J Vialatte, François Leduc-Primeau|arXiv (Cornell University)|Apr 18, 2017

Radiation Effects in Electronics参考文献 11被引用数 13

ひとこと要約

本論文は、深層ニューラルネットワークがモデルサイズを拡大することで、ハードウェア計算障害下でも性能を維持できるかを調査し、より大きなMLPおよびCNNが冗長性によって障害を補償できることを示している。故障耐性効率は、より厳しい性能目標とともに低下する傾向を示しており、将来的にはネットワーク設計において耐障害性と精度を分離する必要があることを示唆している。

ABSTRACT

For many types of integrated circuits, accepting larger failure rates in computations can be used to improve energy efficiency. We study the performance of faulty implementations of certain deep neural networks based on pessimistic and optimistic models of the effect of hardware faults. After identifying the impact of hyperparameters such as the number of layers on robustness, we study the ability of the network to compensate for computational failures through an increase of the network size. We show that some networks can achieve equivalent performance under faulty implementations, and quantify the required increase in computational complexity.

研究の動機と目的

• 埋め込み型システムにおける制限されたエネルギー予算を考慮した状況下で、深層ニューラルネットワークのハードウェア計算障害に対する耐性を評価すること。
• 再トレーニングやハードウェアの変更なしに、モデルサイズを拡大することで故障した計算を補償できるかを調査すること。
• 異なる故障モデル下での計算の冗長性と故障耐性効率のトレードオフを定量化すること。
• MLPとCNNの性能を、楽観的および悲観的な故障モデルの観点から、必要なパラメータ増加量の観点で比較すること。
• 分類精度の目標から分離された、故障耐性を持つ深層学習モデルを設計するためのベースラインを確立すること。

提案手法

• 著者たちは、推論中の計算障害をシミュレートするために、悲観的「条件付き一様」偏差モデルと楽観的「消去」偏差モデルを用いた。
• 事前に学習されたMLPおよびCNNモデルに対して、推論中の順方向伝搬計算にランダムな誤差を注入することで、これらの故障モデル下での評価を実施した。
• モンテカルロシミュレーションを用いて、最大10⁻²までの故障確率および性能目標に対して誤差率を推定し、各目標を満たすために必要なパラメータ数を測定した。
• 故障耐性効率は、同じ性能を達成する信頼性のあるモデルと故障耐性モデルのパラメータ数の比として計算された。
• 故障耐性のためのアーキテクチャ的・最適化的変更なしに、標準的なバックプロパゲーションと確率的勾配降下法を用いて訓練を行った。
• 複数の性能目標および偏差確率を対象に結果を分析し、モデルサイズの拡大によるスケーラビリティと耐性の評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 事前に学習された深層ニューラルネットワークのパラメータ数を増加させることで、推論中の計算障害を補償できるか？
• RQ2 異なる故障モデル下で、故障確率が上昇するにつれて必要なモデルサイズはどのように変化するか？
• RQ3 モデルサイズのみを用いて耐障害性を達成した場合、MLPおよびCNNの故障耐性効率はどの程度か？
• RQ4 性能目標（例：誤差率）が故障耐性と計算の冗長性のトレードオフにどのように影響するか？
• RQ5 楽観的消去モデルは、悲観的モデルと比較して、より少ないパラメータ増加で高い故障耐性を達成できるか？

主な発見

• 故障確率が10⁻³までの場合、MLPおよびCNNの両方において、両方の偏差モデル下でも目標性能を維持でき、冗長性による内在的耐障害性が示された。
• 楽観的消去モデルでは、CNNが最大1%の故障確率（10⁻²）を耐えながら性能を維持でき、悲観的モデルと比較して顕著に少ないパラメータ増加で達成された。
• 性能目標が厳しくなる（誤差率が低くなる）ほど、故障耐性効率が急激に低下し、精度目標に強く依存することが示された。
• 学習済みモデル群における最小のモデルがパラメータ数の下限を示しており、故障下でも同じ性能目標を満たすより小さなモデルは見つからなかった。
• 結果から、現在の故障耐性効率は性能目標に強く関連していることが示唆され、将来的にはエネルギー効率を高めるために、両者を分離する設計が望ましい。
• シミュレーションにおける顕著な性能の不一致（例：0.016の誤差目標付近）は、偏差のサンプリングが少ないための統計的ノイズに起因するとされる。