[논문 리뷰] A Study of Deep Learning Robustness Against Computation Failures

J Vialatte, François Leduc-Primeau|arXiv (Cornell University)|2017. 04. 18.

Radiation Effects in Electronics참고 문헌 11인용 수 13

한 줄 요약

이 논문은 모델 크기를 증가시켜 하드웨어 계산 장애 상황에서도 성능을 유지할 수 있도록 하는 딥 뉴럴 네트워크의 방법을 조사하며, 더 큰 MLP와 CNN이 冗餘성 덕분에 고장을 보완할 수 있음을 보여준다. 성능 목표가 엄격할수록 장애 내성 효율성이 떨어지므로, 네트워크 설계에서 내성과 정확도를 분리할 필요가 있음을 시사한다.

ABSTRACT

For many types of integrated circuits, accepting larger failure rates in computations can be used to improve energy efficiency. We study the performance of faulty implementations of certain deep neural networks based on pessimistic and optimistic models of the effect of hardware faults. After identifying the impact of hyperparameters such as the number of layers on robustness, we study the ability of the network to compensate for computational failures through an increase of the network size. We show that some networks can achieve equivalent performance under faulty implementations, and quantify the required increase in computational complexity.

연구 동기 및 목표

• 제약된 에너지 예산을 가진 임베디드 시스템에서 딥 뉴럴 네트워크의 하드웨어 계산 실패에 대한 내성을 평가하기 위해.
• 재학습이나 하드웨어 수정 없이 모델 크기를 증가시켜 잘못된 계산을 보완할 수 있는지 조사하기 위해.
• 다양한 장애 모델 하에서 계산의 부여성과 장애 내성 효율성 간의 상충 관계를 정량화하기 위해.
• 성능 목표에 따라 MLP와 CNN의 성능을 낙관적 및 비관적인 장애 모델에서 비교하기 위해 (예: 파rameter 증가량 측정).
• 분류 정확도 목표와 분리된 장애 내성 딥 뉴럴 모델 설계를 위한 기초 기준을 설정하기 위해.

제안 방법

• 저자는 계산 장애를 시뮬레이션하기 위해 비관적인 '조건부 균일' 편차 모델과 낙관적인 '삭제' 편차 모델을 사용한다.
• 사전 훈련된 MLP 및 CNN 모델은 추론 중에 전방 전파 계산에 무작위 오류를 주입함으로써 이러한 장애 모델 하에서 평가된다.
• 몬테카를로 시뮬레이션을 통해 다양한 장애 확률(최대 10⁻²)과 성능 목표 하에서 오류율을 추정하며, 각 목표를 충족시키기 위해 필요한 파라미터 수를 측정한다.
• 장애 내성 효율성은 신뢰할 수 있는 모델의 파라미터 수를 동일한 성능을 달성하는 장애 내성 모델의 파라미터 수로 나눈 비율로 계산된다.
• 연구에서는 장애 내성에 대한 아키텍처나 최적화 변경 없이 표준 백프로파게이션과 확률적 경량 최적화를 사용한다.
• 다양한 성능 목표와 편차 확률을 기반으로 모델 크기 증가의 확장성과 내성 수준을 평가하기 위해 결과를 분석한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 뉴럴 네트워크의 파라미터 수를 증가시키면 추론 중 계산 장애를 보완할 수 있는가?
• RQ2 다양한 장애 모델 하에서 장애 확률이 증가함에 따라 필요한 모델 크기가 어떻게 증가하는가?
• RQ3 내성이 모델 크기만으로 달성될 경우 MLP와 CNN의 장애 내성 효율성은 어떠한가?
• RQ4 성능 목표(예: 오류율)가 장애 내성과 계산 부여성 간의 상충 관계에 어떻게 영향을 미치는가?
• RQ5 낙관적인 삭제 모델은 비관적인 모델 대비 더 적은 파라미터 증가량으로 더 높은 장애 내성을 달성할 수 있는가?

주요 결과

• 장애 확률이 10⁻³ 이하일 경우, 더 큰 MLP 및 CNN 모델은 둘 다 편차 모델 하에서 목표 성능을 유지하며, 부여성 덕분에 내재적인 내성을 입증한다.
• 낙관적인 삭제 모델은 CNN이 최대 1% 장애 확률(10⁻²)을 견디며 성능을 유지할 수 있으며, 이는 비관적인 모델 대비 상당히 적은 파라미터 증가량을 요구한다.
• 성능 목표가 엄격해질수록(즉, 오류율이 낮아질수록) 장애 내성 효율성이 급격히 떨어지며, 이는 정확도 목표에 강하게 의존함을 시사한다.
• 훈련된 세트 내 가장 작은 모델은 파라미터 수의 하한선을 나타내며, 이보다 더 작은 모델은 장애 하에서도 동일한 성능 목표를 충족시키지 못하는 것으로 나타났다.
• 결과는 현재 장애 내성 효율성이 성능 목표에 결합되어 있으며, 향후 설계에서는 두 요소를 분리해 더 높은 에너지 효율성을 확보해야 한다는 것을 시사한다.
• 시뮬레이션에서 관찰된 성능 불일치(예: 0.016 오류 목표 시)는 편차 샘플링 수가 적어 발생하는 통계적 노이즈 때문인 것으로 기인된다.