[논문 리뷰] Resilience of Deep Learning applications: a systematic literature review of analysis and hardening techniques

Cristiana Bolchini, Luca Cassano외 1명|arXiv (Cornell University)|2023. 09. 27.

Radiation Effects in ElectronicsEngineering인용 수 3

한 줄 요약

이 체계적 문헌 리뷰는 2019–2023년 동안의 딥러닝 하드웨어 결함에 대한 내성에 관한 71篇의 연구를 분석하여 결함 모델, 오류 탐지 기법, 강화 전략을 분류한다. 주요 연구 추세, 도구 지원 및 열린 과제를 규명하고, 안전 중심 응용 분야에서의 내성적인 딥러닝 시스템 개발을 안내하기 위한 통합 프레임워크를 제안한다.

ABSTRACT

Machine Learning (ML) is currently being exploited in numerous applications being one of the most effective Artificial Intelligence (AI) technologies, used in diverse fields, such as vision, autonomous systems, and alike. The trend motivated a significant amount of contributions to the analysis and design of ML applications against faults affecting the underlying hardware. The authors investigate the existing body of knowledge on Deep Learning (among ML techniques) resilience against hardware faults systematically through a thoughtful review in which the strengths and weaknesses of this literature stream are presented clearly and then future avenues of research are set out. The review is based on 220 scientific articles published between January 2019 and March 2024. The authors adopt a classifying framework to interpret and highlight research similarities and peculiarities, based on several parameters, starting from the main scope of the work, the adopted fault and error models, to their reproducibility. This framework allows for a comparison of the different solutions and the identification of possible synergies. Furthermore, suggestions concerning the future direction of research are proposed in the form of open challenges to be addressed.

연구 동기 및 목표

• 안전 중심 시스템에서 딥러닝의 하드웨어 결함에 대한 내성에 관한 현재의 연구 환경를 맵핑하는 것.
• 유의미한 발견 가능성을 높이기 위해 결함 모델, 오류 모델, 딥러닝 프레임워크 기반으로 기존 방법과 도구를 분류하는 것.
• 163篇의 연구에서 연구 격차와 상호보완적 요소를 식별하고, 일시적 및 영구적 하드웨어 결함에 중점을 두는 것.
• 내성적인 딥러닝 솔루션 생태계를 구축하기 위한 열린 과제와 향후 연구 방향을 제안하는 것.
• 공동 저자 분석 및 인용 분석을 통해 기존 도구와 프레임워크의 성숙도와 영향력을 평가하는 것.

제안 방법

• PRISMA 지침을 기반으로 체계적 문헌 리뷰를 수행하여 163篇의 논문을 걸러내고, 관련성과 범위에 따라 71篇을 심층 분석 대상으로 선정하였다.
• 결함 모델(일시적/영구적), 오류 모델, 딥러닝 프레임워크(e.g., PyTorch, TensorFlow), 강화 기법을 기반으로 분류 프레임워크를 개발하였다.
• VOSviewer를 사용하여 공동 저자 네트워크와 출판 장소를 분석하여 연구 클러스터와 협업 추세를 규명하였다.
• 논문 간 인용 영향력과 상호 참조를 평가하여 분야 내 영향력과 지식 흐름을 분석하였다.
• Fault injection 및 내성 평가를 지원하는 13개의 오픈소스 도구를 수집하고 카탈로그화하였다. 이에는 TensorFI2, Ares, Ranger 등이 포함된다.
• 연구 결과를 종합하여 딥러닝 하드웨어 결함 내성 분야의 연구 추세, 도구 지원, 해결되지 않은 과제에 대한 체계적인 개요를 제시하였다.

실험 결과

연구 질문

• RQ1 최근 딥러닝 내성 연구에서 주로 사용되는 결함 모델과 오류 모델은 무엇인가?
• RQ2 다양한 딥러닝 프레임워크 간에 결함 주입 및 내성 평가 기법은 어떻게 분류되는가?
• RQ3 딥러닝 모델의 하드웨어 결함에 대응하기 위해 가장 자주 사용되는 도구와 프레임워크는 무엇인가?
• RQ4 딥러닝 내성 분야에서 주요 연구 클러스터와 협업 네트워크는 무엇인가?
• RQ5 딥러닝 시스템에서 하드웨어 결함 내성을 달성하기 위한 주요 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 2019년 이후 연구자들이 딥러닝의 하드웨어 결함 내성에 대한 관심을 크게 확대하였으며, 연간 출판 수가 지속적으로 증가하고 있다.
• 주로 가중치, 활성화, 파라미터에서 발생하는 일시적 및 영구적 결함 모델이 가장 흔하며, 결함 주입이 주요 평가 방법으로 사용된다.
• 13개의 오픈소스 도구가 식별되었으며, 이에는 TensorFI2, Ranger, FIdelity 등이 포함되어 있어 여러 딥러닝 프레임워크에서 결함 주입 및 내성 분석을 지원한다.
• 공동 저자 분석을 통해 14개의 별도된 연구 클러스터를 확인하였고, 68명의 저자가 최소 3편 이상의 논문을 기여하여 성숙하고 협업이 활발한 연구 생태계임을 확인하였다.
• IEEE Transactions on Dependable and Secure Computing와 ACM Transactions on Embedded Computing와 같은 출판 장소가 이 분야의 연구 확산에 핵심적인 역할을 하고 있다.
• 다시 말해, 표준화된 결함 모델 개선, 재현 가능성 향상, 내성 평가 및 강화를 위한 통합 생태계 구축이 여전히 큰 과제로 남아 있다.