[논문 리뷰] HarDNN: Feature Map Vulnerability Evaluation in CNNs

Abdulrahman Mahmoud, Siva Kumar Sastry Hari외 8명|arXiv (Cornell University)|2020. 02. 22.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 12

한 줄 요약

HarDNN는 전이 하드웨어 오류에 대한 내성을 향상시키기 위해 CNN의 취약한 특징 맵을 식별하고 선택적으로 보호하는 소프트웨어 지향 프레임워크이다. 활성화 및 기울기 정보를 기반으로 한 새로운 $Δ$ 손실 지표와 빠른 히وري스틱을 사용한 통계적 오류 주입을 통해, SqueezeNet에서 최대 10배 높은 내성을 달성하면서도 추가 계산량의 30%만으로도 가능하며, 계산 오버헤드 대비 오류 커버리지에서 초선형적 성과를 보여준다.

ABSTRACT

As Convolutional Neural Networks (CNNs) are increasingly being employed in safety-critical applications, it is important that they behave reliably in the face of hardware errors. Transient hardware errors may percolate undesirable state during execution, resulting in software-manifested errors which can adversely affect high-level decision making. This paper presents HarDNN, a software-directed approach to identify vulnerable computations during a CNN inference and selectively protect them based on their propensity towards corrupting the inference output in the presence of a hardware error. We show that HarDNN can accurately estimate relative vulnerability of a feature map (fmap) in CNNs using a statistical error injection campaign, and explore heuristics for fast vulnerability assessment. Based on these results, we analyze the tradeoff between error coverage and computational overhead that the system designers can use to employ selective protection. Results show that the improvement in resilience for the added computation is superlinear with HarDNN. For example, HarDNN improves SqueezeNet's resilience by 10x with just 30% additional computations.

연구 동기 및 목표

• 전이 하드웨어 오류에 노출된 안전 중심 CNN 응용 분야에서의 내성 향상 수요 증가에 대응하기 위해.
• 하드웨어 유도 인퍼런스 손상에 가장 취약한 CNN의 특징 맵을 식별하기 위해.
• 오직 가장 취약한 특징 맵만을 보호하여 계산 오버헤드를 최소화하기 위해.
• 전체 오류 주입을 피하는 빠르고 정확한 취약도 추정 기법을 개발하기 위해.
• 보호된 CNN에서 내성 향상과 계산 비용 간의 트레이드오프를 정량화하기 위해.

제안 방법

• 다양한 전이 오류 모델을 통한 통계적 오류 주입을 활용해 특징 맵의 취약도를 추정한다.
• 이진 분류 오류 대신 출력 손상 심각도를 미세하게 측정하기 위해 $Δ$ 손실을 도입한다.
• 활성화 값과 역전파 기울기를 사용한 6가지 히وري스틱을 개발하여 오류 주입 없이도 취약도를 예측한다.
• $Δ$ 손실 지표를 사용해 특징 맵을 취약도 순으로 정렬하고 선택적 보호를 이끌어낸다.
• 가장 취약한 특징 맵만을 복제하여 내성을 향상시키는 선택적 보호를 적용한다.
• SqueezeNet 및 ResNet50와 같은 실제 CNN을 사용해 오류 커버리지와 계산 오버헤드 간의 트레이드오프를 평가한다.

실험 결과

연구 질문

• RQ1 전이 하드웨어 오류로 인해 출력 손상이 발생할 가능성이 가장 높은 CNN의 특징 맵은 무엇인가?
• RQ2 완전한 오류 주입 없이도 특징 맵 수준에서 취약도를 정확하고 효율적으로 추정할 수 있는 방법은 무엇인가?
• RQ3 선택적으로 취약한 특징 맵을 보호할 경우, 계산 오버헤드와 내성 향상 간의 관계는 어떻게 되는가?
• RQ4 다양한 오류 모델이 특징 맵의 상대적 취약도 순위에 어떤 영향을 미치는가?
• RQ5 활성화 및 기울기 정보를 기반으로 한 빠른 히وري스틱은 전체 오류 주입에 비해 신뢰할 수 있는 취약도 추정을 제공할 수 있는가?

주요 결과

• $Δ$ 손실 지표는 이진 분류 오류에 비해 오류 주입 캠프에 10배 빠르게 수행되며, 유사한 취약도 추정 정확도를 확보한다.
• 평균적으로 전체 네트워크 취약도의 76%가 오직 30%의 특징 맵에서 기인하므로, 오류 민감도에 뚜렷한 비대칭성이 존재한다.
• SqueezeNet에서 HarDNN는 추가 계산 오버헤드 30%로 내성 향상 10배를 달성한다.
• 추가 계산량에 비해 내성 향상이 초선형적으로 증가하므로, 선택적 보호의 효율성이 매우 높음을 시사한다.
• 기울기 기반 히وري스틱은 속도와 정확도 사이의 우수한 트레이드오프를 제공하여 개발 단계에서의 빠른 프로파일링에 적합하다.
• 세 가지 다른 전이 오류 모델 간에도 특징 맵의 취약도 순위가 일관되게 유지되어, 이 방법의 강건성을 검증한다.