[논문 리뷰] FTT-NAS: Discovering Fault-Tolerant Neural Architecture.

Xuefei Ning, Guangjun Ge외 7명|arXiv (Cornell University)|2020. 03. 20.

Advanced Neural Network Applications참고 문헌 48인용 수 8

한 줄 요약

이 논문은 소프트 에러 및 가중치 손상과 같은 하드웨어 결함에 내재적으로 내성적인 컨볼루션 네트워크 아키텍처를 발견하는 신경망 아키텍처 탐색 프레임워크인 FTT-NAS를 제안한다. 결함 내성적인 훈련을 탐색 과정에 통합함으로써, FTT-NAS는 FLOPs와 파라미터 수와 유사한 수준에서 기능 결함 조건 하에서 86.2%의 정확도(비교 기준인 MobileNet-V2는 68.1%)와 가중치 결함 조건 하에서 69.6%의 정확도(비교 기준인 ResNet-20는 60.8%)를 달성한다.

ABSTRACT

With the fast evolvement of embedded deep-learning computing systems, applications powered by deep learning are moving from the cloud to the edge. When deploying neural networks (NNs) onto the devices under complex environments, there are various types of possible faults: soft errors caused by cosmic radiation and radioactive impurities, voltage instability, aging, temperature variations, and malicious attackers. Thus the safety risk of deploying NNs is now drawing much attention. In this paper, after the analysis of the possible faults in various types of NN accelerators, we formalize and implement various fault models from the algorithmic perspective. We propose Fault-Tolerant Neural Architecture Search (FT-NAS) to automatically discover convolutional neural network (CNN) architectures that are reliable to various faults in nowadays devices. Then we incorporate fault-tolerant training (FTT) in the search process to achieve better results, which is referred to as FTT-NAS. Experiments on CIFAR-10 show that the discovered architectures outperform other manually designed baseline architectures significantly, with comparable or fewer floating-point operations (FLOPs) and parameters. Specifically, with the same fault settings, F-FTT-Net discovered under the feature fault model achieves an accuracy of 86.2% (VS. 68.1% achieved by MobileNet-V2), and W-FTT-Net discovered under the weight fault model achieves an accuracy of 69.6% (VS. 60.8% achieved by ResNet-20). By inspecting the discovered architectures, we find that the operation primitives, the weight quantization range, the capacity of the model, and the connection pattern have influences on the fault resilience capability of NN models.

연구 동기 및 목표

• 우주선 방사선, 전압 불안정성, 노후화 등으로 인해 발생하는 하드웨어 결함에 노출된 엣지 디바이스에 딥 네트워크를 구현할 경우 증가하는 안전 위험을 해결한다.
• 실제 세계의 결함 조건을 시뮬레이션하기 위해 다양한 유형의 신경망 가속기용 알고리즘 기반의 결함 모델을 정의한다.
• 다양한 종류의 결함에 대해 내재적으로 강건한 신경망 아키텍처를 발견하는 자동화된 탐색 프레임워크인 FTT-NAS를 개발한다.
• 모델 복잡도를 증가시키지 않고도 내성적인 강건성을 향상시키기 위해 결함 내성적인 훈련을 NAS 과정에 통합한다.

제안 방법

• 실제 결함 조건 하에서 기능 및 가중치의 소프트 에러를 시뮬레이션하는 알고리즘적 관점에서 결함 모델을 정의한다.
• 결함 모델을 제약 조건으로 통합하여 아키텍처 탐색 중에 작용하는 미분 가능 신경망 아키텍처 탐색(NAS) 프레임워크를 설계한다.
• 결함 내성적인 훈련(FTT)을 탐색 과정에 통합하여, 모델이 주입된 결함 조건 하에서 훈련되어 강건성을 향상시킨다.
• 결함에 강건한 아키텍처를 탐색하기 위해 연산 프리미티브, 가중치 양자화 범위, 모델 용량, 연결 패턴을 포함한 탐색 공간을 사용한다.
• 결함 조건 하에서 정확도를 극대화하면서 FLOPs와 파라미터를 최소화하는 탐색 목표를 최적화한다.
• 통제된 결함 주입 조건 하에서 발견된 아키텍처를 평가하여 다양한 종류의 결함에 대한 강건성을 측정한다.

실험 결과

연구 질문

• RQ1 엔드포인트 AI 시스템에서 하드웨어 결함에 내재적으로 강건한 아키텍처를 탐색하는 데 있어 신경망 아키텍처 탐색이 효과적으로 확장될 수 있는가?
• RQ2 기본적인 NAS와 비교했을 때, 결함 내성적인 훈련을 NAS 과정에 통합하면 결함 강건성은 어떻게 향상되는가?
• RQ3 연산 프리미티브, 가중치 양자화, 모델 용량, 연결 패턴 등의 아키텍처 구성 요소 중 어느 것이 가장 크게 결함 강건성에 영향을 미치는가?
• RQ4 수작업으로 설계된 모델에 비해 FTT-NAS는 어떤 정도로 낮은 FLOPs와 파라미터 수를 유지하면서도 결함 조건 하에서 더 높은 정확도를 달성할 수 있는가?

주요 결과

• 기능 결함 모델 하에서 F-FTT-Net은 CIFAR-10에서 86.2%의 정확도를 기록했으며, 동일한 결함 조건 하에서 MobileNet-V2의 68.1%보다 뚜렷이 높았다.
• 가중치 결함 모델 하에서 W-FTT-Net은 69.6%의 정확도를 기록했으며, 동일한 결함 설정 하에서 ResNet-20의 60.8%를 초월했다.
• 발견된 아키텍처는 특정 연산 프리미티브, 최적화된 가중치 양자화 범위, 맞춤형 모델 용량을 사용할 경우 더 높은 결함 강건성을 보였다.
• 발견된 아키텍처에서 연결 패턴은 결함 주입 조건 하에서도 성능을 유지하는 데 핵심적인 역할을 했다.
• NAS 과정 중에 결함 내성적인 훈련을 통합함으로써 강건성이 크게 향상되었으며, 이는 종단 간 결함 인지 아키텍처 탐색의 효과성을 입증했다.
• FTT-NAS 프레임워크는 기존 모델 대비 더 적은 FLOPs와 파라미터를 사용하면서도 경쟁 가능한 성능을 달성하여 효율성과 강건성의 조화를 이뤘다.