[논문 리뷰] Adversarial Fault Tolerant Training for Deep Neural Networks.

Vasisht Duddu, Dushyant Rao외 1명|arXiv (Cornell University)|2019. 07. 06.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 7

한 줄 요약

이 논문은 두 가지 생성적 적대적 게임(재구성 및 분포 스무딩)을 통한 비지도 사전 훈련과 이후 지도 미세조정을 통해 특성 추출과 분류를 분리함으로써 딥 네ural 네트워크를 위한 적대적 고장 내성 훈련을 제안한다. 이 방법은 FashionMNIST와 CIFAR10에서 높은 정확도를 달성하고, 정상적인 정규화 기법들보다 우수한 스탑-앳-0 고장에 대한 내성을 보이며, 이를 통해 고장 내성과 분류 정확도 사이의 상충 관계를 해결한다.

ABSTRACT

Deep Learning Accelerators are prone to faults which manifest in the form of errors in Neural Networks. Fault Tolerance in Neural Networks is crucial in real-time safety critical applications requiring computation for long durations. Neural Networks with high regularisation exhibit superior fault tolerance, however, at the cost of classification accuracy. In the view of difference in functionality, a Neural Network is modelled as two separate networks, i.e, the Feature Extractor with unsupervised learning objective and the Classifier with a supervised learning objective. Traditional approaches of training the entire network using a single supervised learning objective is insufficient to achieve the objectives of the individual components optimally. In this work, a novel multi-criteria objective function, combining unsupervised training of the Feature Extractor followed by supervised tuning with Classifier Network is proposed. The unsupervised training solves two games simultaneously in the presence of adversary neural networks with conflicting objectives to the Feature Extractor. The first game minimises the loss in reconstructing the input image for indistinguishability given the features from the Extractor, in the presence of a generative decoder. The second game solves a minimax constraint optimisation for distributional smoothening of feature space to match a prior distribution, in the presence of a Discriminator network. The resultant strongly regularised Feature Extractor is combined with the Classifier Network for supervised fine-tuning. The proposed Adversarial Fault Tolerant Neural Network Training is scalable to large networks and is independent of the architecture. The evaluation on benchmarking datasets: FashionMNIST and CIFAR10, indicates that the resultant networks have high accuracy with superior tolerance to stuck at 0 faults compared to widely used regularisers.

연구 동기 및 목표

• 안전 중심 응용 분야에서 딥 네ural 네트워크의 고장 내성과 분류 정확도 사이의 상충 관계를 해결하기 위해.
• 특성 추출과 분류 훈련 목표를 분리함으로써 정확도를 유지하면서 고장 내성을 향상시키기 위해.
• 확장 가능하고 아키텍처에 종속되지 않는 훈련 프레임워크를 개발하여 스탑-앳-0 고장에 대한 강건성을 향상시키기 위해.
• 특성 추출기를 생성기와 판별기로 구성된 이중 최소화 게임으로 모델링하여 강건성과 일반화 능력을 강화하기 위해.
• 기본 정규화 기법들과 비교하여 벤치마크 데이터셋에서 뛰어난 고장 내성을 입증하기 위해.

제안 방법

• 신경망을 비지도 훈련되는 특성 추출기와 지도 훈련되는 분류기로 분해하여 별도로 훈련한다.
• 특성 추출기를 두 개의 동시에 진행되는 생성적 적대적 게임을 통해 훈련한다: 생성기를 통한 재구성과 판별기를 통한 분포 스무딩.
• 재구성 손실을 적용하여 추출된 특징에서 입력 이미지를 정확하게 재구성할 수 있도록 보장한다.
• 최소화 게임 손실을 적용하여 특징 분포를 사전 분포와 일치시켜 일반화 능력과 강건성을 향상시킨다.
• 라벨이 부여된 데이터를 사용하여 특성 추출기와 분류기를 결합하여 표준 지도 학습을 통해 미세조정한다.
• 강력한 정규화와 함께 적대적 훈련을 통합하여 정확도를 손상시키지 않은 채 고장 내성을 향상시킨다.

실험 결과

연구 질문

• RQ1 특성 추출과 분류 훈련을 분리함으로써 딥 네ural 네트워크의 고장 내성을 향상시킬 수 있는가?
• RQ2 재구성과 분포 스무딩이라는 이중 GAN 목표를 가진 적대적 훈련이 스탑-앳-0 고장에 대한 강건성을 향상시키는가?
• RQ3 기본 정규화 기법들과 비교하여 제안된 방법이 높은 분류 정확도를 유지하면서 고장 내성을 크게 향상시킬 수 있는가?
• RQ4 제안된 훈련 프레임워크는 다양한 딥 러닝 모델에 대해 확장 가능하고 아키텍처에 종속되지 않는가?
• RQ5 표준 벤치마크인 FashionMNIST와 CIFAR10에서 고장 조건 하에서 적대적 고장 내성 훈련의 성능은 어떠한가?

주요 결과

• 제안된 방법은 FashionMNIST와 CIFAR10 양쪽 모두에서 표준 정규화 기법들보다 높은 분류 정확도를 달성하면서도 뛰어난 고장 내성을 보였다.
• 특성 추출기의 이중 적대적 훈련은 기존 정규화 기법들보다 스탑-앳-0 고장에 대해 훨씬 더 높은 강건성을 확보하였다.
• 재구성과 분포 스무딩을 통한 비지도 사전 훈련은 고장 조건 하에서도 잘 일반화되는 강력하게 정규화된 특징 공간을 생성하였다.
• 이 방법은 확장 가능하며 네트워크 아키텍처에 종속되지 않아 대규모 딥 네ural 네트워크에 적용 가능하다.
• 평가 결과는 적대적으로 훈련된 네트워크가 지속적인 고장 조건 하에서도 높은 성능을 유지함을 확인하였으며, 이는 안전 중심 시스템에 적합함을 입증하였다.
• 적대적 훈련과 지도 미세조정의 조합은 종단 간 지도 훈련보다 정확도와 고장 내성의 균형을 더 효과적으로 확보하는 모델을 생성하였다.