[논문 리뷰] Arithmetic-Intensity-Guided Fault Tolerance for Neural Network Inference on GPUs

Jack Kosaian, K. V. Rashmi|arXiv (Cornell University)|2021. 04. 19.

Advanced Neural Network Applications참고 문헌 69인용 수 43

한 줄 요약

이 논문은 GPU에서 신경망 추론을 위한 적응형 결함 내성 프레임워크인 강도 지도형 ABFT를 제안한다. 이는 각 레이어의 산술 강도에 따라 기존 ABFT와 스레드 수준의 알고리즘 기반 결함 내성(ABFT)을 동적으로 선택한다. 대역폭에 제한받는 레이어에서 활용되지 않는 컴퓨팅 자원을 활용하여, 다양한 모델에서 실행 시간 오버헤드를 1.09–5.3× 감소시켜 정적 ABFT 접근 방식에 비해 효율성을 크게 향상시킨다.

ABSTRACT

Neural networks (NNs) are increasingly employed in safety-critical domains and in environments prone to unreliability (e.g., soft errors), such as on spacecraft. Therefore, it is critical to impart fault tolerance to NN inference. Algorithm-based fault tolerance (ABFT) is emerging as an efficient approach for fault tolerance in NNs. We propose an adaptive approach to ABFT for NN inference that exploits untapped opportunities in emerging deployment scenarios. GPUs have high compute-to-memory-bandwidth ratios, while NN layers have a wide range of arithmetic intensities. This leaves some layers compute bound and others memory-bandwidth bound, but current approaches to ABFT do not consider these differences. We first investigate ABFT schemes best suited for each of these scenarios. We then propose intensity-guided ABFT, an adaptive, arithmetic-intensity-guided approach that selects the most efficient ABFT scheme for each NN layer. Intensity-guided ABFT reduces execution-time overhead by 1.09--5.3$ imes$ across many NNs compared to traditional approaches to ABFT.

연구 동기 및 목표

• 안정성 요구가 높은 신경망 배포, 특히 고고도 및 외계 환경에서의 소프트 에러 증가 문제를 해결하기 위해.
• 기존 ABFT 접근 방식이 모든 선형 레이어가 컴퓨팅에 제한된다고 가정하지만, 현대 GPU 최적화 추론에서 자원 병목 현상을 忽시한다는 점을 해결하기 위해.
• 저산술 강도 신경망 레이어에서 흔한 대역폭에 제한받는 레이어에서 활용되지 않는 컴퓨팅 사이클을 활용하기 위해 스레드 수준의 ABFT 기법을 도입함으로써, 효율적인 부가 실행을 실현하기 위해.
• 산술 강도에 따라 각 레이어에 맞는 적응형 ABFT 전략을 설계하여 실행 시간 오버헤드를 최소화하면서도 결함 탐지 기능을 보장하기 위해.

제안 방법

• 현대 추론 최적화 GPU의 컴퓨팅 대 메모리 대역폭 비율(CMR)을 분석하고, 저산술 강도로 인해 많은 신경망 레이어가 메모리 대역폭에 제한받는다는 점을 규명한다.
• GPU 스레드 수준에서 체크섬 계산을 수행하는 스레드 수준 ABFT 기법을 제안하여, 스레드 간 통신을 제거하고 대역폭에 제한받는 레이어와 경쟁하는 추가 메모리 액세스를 방지한다.
• 산술 강도를 기반으로 각 선형 레이어를 컴퓨팅에 제한된 레이어 또는 대역폭에 제한된 레이어로 분류하고, 이에 따라 가장 효율적인 ABFT 기법을 선택하는 적응형 프레임워크인 강도 지도형 ABFT를 도입한다.
• 하이브리드 ABFT 전략을 활용: 컴퓨팅에 제한된 레이어에는 기존 ABFT를, 대역폭에 제한된 레이어에는 스레드 수준 ABFT를 사용하며, 둘 다 동일한 추론 파이프라인에 통합한다.
• 부동소수점 연산 수를 메모리 트래픽 바이트 수로 나눈 비율을 산술 강도 측정 지표로 사용하여 기법 선택을 안내한다.
• 다양한 GPU 아키텍처에서 여러 신경망(예: ResNet, EfficientNet, MobileNet)을 대상으로 프레임워크를 평가하고, 실행 시간 오버헤드와 결함 탐지 커버리지 측정.

실험 결과

연구 질문

• RQ1 GPU에서 대역폭에 제한받는 신경망 레이어의 활용되지 않는 컴퓨팅 자원을 결함 내성에서 효율적인 부가 실행에 활용할 수 있는가?
• RQ2 산술 강도가 다양한 레이어에서 다르게 나타날 경우, ABFT 기법 선택(기존 대비 스레드 수준)이 실행 시간 오버헤드에 어떤 영향을 미치는가?
• RQ3 산술 강도 기반의 적응형 ABFT 기법 선택 전략이 정적, 일률적인 ABFT 접근 방식에 비해 성능 및 결함 커버리지 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 스레드 수준 ABFT는 추가 메모리 트래픽 없이 대역폭에 제한되는 환경에서 기존 ABFT 대비 오버헤드를 얼마나 줄일 수 있는가?

주요 결과

• 강도 지도형 ABFT는 다양한 신경망에서 기존 ABFT 접근 방식 대비 실행 시간 오버헤드를 1.09–5.3× 감소시켰다.
• 제안된 스레드 수준 ABFT 기법은 추가 메모리 트래픽 없이 결함 탐지를 달성하여, 대역폭에 제한되는 레이어에 매우 적합하다.
• 산술 강도를 지표로 삼아 레이어를 컴퓨팅에 제한된 레이어 또는 대역폭에 제한된 레이어로 분류하고, 각 레이어에 최적의 ABFT 기법을 선택하는 데 성공하여 최적의 전략 선택을 가능하게 하였다.
• 현대적이고 효율적인 신경망 아키텍처에서 흔한 대역폭에 제한되는 레이어는 부가 계산을 최소한의 성능 손실로 수행할 수 있는 잠재적 기회를 제공한다.
• 혼합 워크로드에서 레이어 특성이 다양할 경우, 적응형 선택 전략이 정적 ABFT 및 복제 기반 접근 방식을 모두 능가하는 성능을 발휘한다.
• 이 방법은 신경망을 초월해 일반화 가능하며, 일반 행렬 곱셈을 보호할 수 있고, GPU 가속기 대상으로 하는 더 넓은 HPC 워크로드에 적용 가능하다.