[論文レビュー] Training for 'Unstable' CNN Accelerator:A Case Study on FPGA

Kouzi Xing|arXiv (Cornell University)|Dec 2, 2018

Embedded Systems Design Techniques参考文献 21被引用数 4

ひとこと要約

本論文は、オーバクロックやハードウェア障害によって引き起こされるアクセラレータ固有の不安定性を畳み込みニューラルネットワーク（CNN）の学習プロセスに統合する、新しいトレーニングフレームワークを提案する。FPGA上でシミュレートされた不安定な挙動を用いて事前学習済みモデルをファインチューニングすることで、極端な条件下でも精度の低下を軽減し、極端なオーバクロック下では最大3.4%、深刻な故障インジェクション下では6.8%のトップ5精度向上を達成した。

ABSTRACT

With the great advancements of convolution neural networks(CNN), CNN accelerators are increasingly developed and deployed in the major computing systems.To make use of the CNN accelerators, CNN models are trained via the off-line training systems such as Caffe, Pytorch and Tensorflow on multi-core CPUs and GPUs first and then compiled to the target accelerators. Although the two-step process seems to be natural and has been widely applied, it assumes that the accelerators' behavior can be fully modeled on CPUs and GPUs. This does not hold true and the behavior of the CNN accelerators is un-deterministic when the circuit works at 'unstable' mode when it is overclocked or is affected by the environment like fault-prone aerospace. The exact behaviors of the accelerators are determined by both the chip fabrication and the working environment or status. In this case, applying the conventional off-line training result to the accelerators directly may lead to considerable accuracy loss. To address this problem, we propose to train for the 'unstable' CNN accelerator and have the 'un-determined behavior' learned together with the data in the same framework. Basically, it starts from the off-line trained model and then integrates the uncertain circuit behaviors into the CNN models through additional accelerator-specific training. The fine-tuned training makes the CNN models less sensitive to the circuit uncertainty. We apply the design method to both an overclocked CNN accelerator and a faulty accelerator. According to our experiments on a subset of ImageNet, the accelerator-specific training can improve the top 5 accuracy up to 3.4% and 2.4% on average when the CNN accelerator is at extreme overclocking. When the accelerator is exposed to a faulty environment, the top 5 accuracy improves up to 6.8% and 4.28% on average under the most severe fault injection.

研究の動機と目的

• オーバクロックや環境的障害によるCNNアクセラレータの精度低下を解消すること。
• 決定的と仮定するアクセラレータ動作を前提とする従来の2段階トレーニング（CPU/GPUでオフラインで実行後、コンパイル）の限界を克服すること。
• 実時間のハードウェアデプロイメントにおける予測不能な回路レベルの挙動に耐性を持つCNNモデルのトレーニング手法を開発すること。
• 宇宙機器などのリソース制約や故障しやすいシステムにおいて、FPGAベースのアクセラレータを用いて信頼性の高い推論を可能にすること。

提案手法

• PyTorch や TensorFlow などの標準フレームワークを用いて得た事前学習済みCNNモデルから出発する。
• ハードウェアに配慮したシミュレーションを用いて、タイミングエラー や電圧変動などのアクセラレータ固有の不安定性をトレーニングループに組み込む。
• FPGAのオーバクロックや故障インジェクション下での実際の挙動を模倣する合成された不安定パターンを用いて、事前学習済みモデルをファインチューニングする。
• 誤差逆伝播を用いてネットワーク重みを更新し、不確実な挙動に対して耐性を持つようにモデルを学習させる。
• データと不安定パターンの両方をエンドツーエンドでトレーニングし、ハードウェア由来の誤りの分布を効果的に学習する。
• 得られた耐性を持つモデルを、不安定な動作下でも高い精度を維持できるターゲットFPGAアクセラレータにデプロイする。

実験結果

リサーチクエスチョン

• RQ1 合成された不安定性を用いたトレーニングが、不安定なFPGAアクセラレータ上でのCNN推論精度にどのように寄与するか？
• RQ2 アクセラレータ固有のトレーニングが、極端なオーバクロック条件下での精度損失をどの程度軽減できるか？
• RQ3 提案手法が、リアルタイム推論においてビットフィップやタイミングエラーなどのハードウェア障害を効果的に処理できるか？
• RQ4 不安定性を統合してトレーニングしたモデルの耐性は、標準的なファインチューニングや再学習と比べてどの程度優れているか？
• RQ5 ハードウェアの不確実性下でのトレーニングの複雑さと精度向上のトレードオフはどのようなものか？

主な発見

• FPGAアクセラレータを極端なオーバクロック状態で動作させた場合、ImageNet上でのトップ5精度が最大3.4%向上した。
• 最も深刻な故障インジェクション条件下では、標準的なファインチューニングと比較してトップ5精度が最大6.8%向上した。
• 複数のオーバクロックレベルにわたる平均では、精度が2.4%向上し、一貫した耐性を示した。
• 故障インジェクション下でも平均で4.28%の精度向上を示し、ハードウェア障害に対する強い耐性を確認した。
• 結果から、トレーニングプロセスにハードウェアの不安定性を統合することで、予測不能な回路挙動への感受性が顕著に低減することが確認された。
• 推論ハードウェアの変更を要せず、宇宙機器や組み込みシステムへの実装に実用的であることが示された。