[論文レビュー] Adversarial Fault Tolerant Training for Deep Neural Networks.

Vasisht Duddu, Dushyant Rao+1 more|arXiv (Cornell University)|Jul 6, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用数 7

ひとこと要約

本稿では、特徴抽出と分類を多基準目的による分離によって分離することで、深層ニューラルネットワークのための敵対的フォールト耐性学習を提案する。具体的には、2つの生成的敵対的ゲーム（再構成と分布平滑化）による自己教師あり事前学習の後、教師あり微調整を行う。この手法は、FashionMNISTおよびCIFAR10で高い精度とスタック・アット・0障害に対する優れた耐性を達成し、標準的な正則化手法を上回る性能を示す。

ABSTRACT

Deep Learning Accelerators are prone to faults which manifest in the form of errors in Neural Networks. Fault Tolerance in Neural Networks is crucial in real-time safety critical applications requiring computation for long durations. Neural Networks with high regularisation exhibit superior fault tolerance, however, at the cost of classification accuracy. In the view of difference in functionality, a Neural Network is modelled as two separate networks, i.e, the Feature Extractor with unsupervised learning objective and the Classifier with a supervised learning objective. Traditional approaches of training the entire network using a single supervised learning objective is insufficient to achieve the objectives of the individual components optimally. In this work, a novel multi-criteria objective function, combining unsupervised training of the Feature Extractor followed by supervised tuning with Classifier Network is proposed. The unsupervised training solves two games simultaneously in the presence of adversary neural networks with conflicting objectives to the Feature Extractor. The first game minimises the loss in reconstructing the input image for indistinguishability given the features from the Extractor, in the presence of a generative decoder. The second game solves a minimax constraint optimisation for distributional smoothening of feature space to match a prior distribution, in the presence of a Discriminator network. The resultant strongly regularised Feature Extractor is combined with the Classifier Network for supervised fine-tuning. The proposed Adversarial Fault Tolerant Neural Network Training is scalable to large networks and is independent of the architecture. The evaluation on benchmarking datasets: FashionMNIST and CIFAR10, indicates that the resultant networks have high accuracy with superior tolerance to stuck at 0 faults compared to widely used regularisers.

研究の動機と目的

• 安全で重要なアプリケーションにおける深層ニューラルネットワークのフォールト耐性と分類精度のトレードオフを解消すること。
• 特徴抽出と分類の学習目的を分離することで、モデルの精度を損なわずフォールト耐性を向上させること。
• スケーラブルでアーキテクチャに依存しない訓練フレームワークを構築し、スタック・アット・0障害に対する耐性を高めること。
• 特徴抽出器を生成器と識別器の2人対戦ミニマックスゲームとしてモデル化することで、耐性と一般化性能を強化すること。
• 標準的な正則化手法と比較して、ベンチマークデータセット上で優れたフォールト耐性を示すことを実証すること。

提案手法

• ニューラルネットワークを、自己教師ありの特徴抽出器（特徴抽出）と教師ありの分類器（分類）に分解し、別々に訓練する。
• 特徴抽出器を、2つの同時進行の生成的敵対的ゲーム（再構成と分布平滑化）で訓練する。
• 入力画像が抽出された特徴から正確に再構成可能であることを保証するための再構成損失を適用する。
• 特徴の分布を事前分布に一致させるためのミニマックス損失を適用し、一般化性能と耐性を向上させる。
• ラベル付きデータを用いた標準的な教師あり学習により、結合された特徴抽出器と分類器を微調整する。
• 強力な正則化と敵対的訓練を統合することで、精度を損なわずフォールト耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 特徴抽出と分類の学習を分離することで、深層ニューラルネットワークのフォールト耐性が向上するか？
• RQ2 再構成と分布平滑化という2つのGAN目的を用いた敵対的訓練により、スタック・アット・0障害に対する耐性が向上するか？
• RQ3 提案手法は、標準的な正則化手法と比較して、顕著にフォールト耐性を向上させつつ高い分類精度を維持できるか？
• RQ4 提案された訓練フレームワークは、さまざまなディープラーニングモデルに対してスケーラブルかつアーキテクチャに依存しないか？
• RQ5 FashionMNISTやCIFAR10といった標準ベンチマークで、障害状態下での敵対的フォールト耐性学習の性能はいかがなものか？

主な発見

• 提案手法は、FashionMNISTおよびCIFAR10の両方で、標準的な正則化手法よりも高い分類精度と優れたフォールト耐性を達成した。
• 特徴抽出器の二重敵対的訓練により、スタック・アット・0障害に対する耐性が顕著に向上し、従来の正則化技術を上回った。
• 再構成と分布平滑化による自己教師あり事前学習により、故障状態でも良好に一般化できる強力に正則化された特徴空間が得られた。
• この手法はスケーラブルであり、ネットワークアーキテクチャに依存しないため、大規模なディープニューラルネットワークへの応用が可能である。
• 評価結果から、敵対的に訓練されたネットワークが、持続的な障害状態下でも高い性能を維持することが確認され、安全で重要なシステムへの適性が裏付けられた。
• 敵対的訓練と教師あり微調整の組み合わせにより、エンドツーエンドの教師あり学習と比較して、精度とフォールト耐性のバランスがより効果的に実現された。