[논문 리뷰] Safety and Trustworthiness of Deep Neural Networks: A Survey

Xiaowei Huang, Daniel Kroening외 6명|arXiv (Cornell University)|2018. 12. 18.

Adversarial Robustness in Machine Learning참고 문헌 109인용 수 38

한 줄 요약

이 종합 검토는 최근의 딥 뉴럴 네트워크(DNN)의 안전성과 신뢰성 확보에 관한 연구를 검토하며, 검증, 테스트, 적대적 공격에 대한 강건성, 그리고 해석 가능성에 중점을 둔다. 2017~2018년 동안의 178篇의 최근 논문을 분석하여, DNN을 실제 응용 분야에 안정적으로 구현하기 위해 필요한 주요 진전을 요약하고, 특히 자율주행차와 같은 고위험 응용 분야에서의 신뢰성 확보에 있어 열려 있는 과제를 밝혀낸다.

ABSTRACT

In the past few years, significant progress has been made on deep neural networks (DNNs) in achieving human-level intelligence on several long-standing tasks. With broader deployment of DNNs on various applications, the concerns on its safety and trustworthiness have been raised, particularly after the fatal incidents of self-driving cars. Research to address these concerns is very active, with many papers released in the past few years. This survey paper is to conduct a review of the current research efforts on making DNNs safe and trustworthy, by focusing on four aspects, i.e., verification, testing, adversarial attack and defence, and interpretability. In total, we surveyed 178 papers, most of which were published in the most recent two years, i.e., 2017 and 2018.

연구 동기 및 목표

• 자율주행차 사망 사고와 같은 고조명을 받은 사고 이후, 실제 응용 분야에서 딥 뉴럴 네트워크(DNN)의 안전성과 신뢰성에 대한 우려가 증가함에 따라 이를 해결하고자 한다.
• 2017~2018년 동안의 연구를 체계적으로 검토하고 종합하여, 검증, 테스트, 적대적 공격에 대한 강건성, 해석 가능성의 네 가지 핵심 차원에서 DNN의 안전성과 신뢰성을 향상시키기 위한 최근 연구 동향을 분석하고자 한다.
• 현재 연구에서의 격차와 열려 있는 과제를 특정하여, 향후 더 강력하고 신뢰할 수 있는 DNN 시스템 개발을 위한 방향을 제시하고자 한다.
• 신뢰할 수 있는 AI 분야에서 일하는 연구자들과 전문가들을 위해 종합적이고 최신의 참고 자료를 제공하고자 한다.

제안 방법

• 이 종합 검토는 주로 2017년과 2018년에 출판된 논문 178편을 대상으로 하며, DNN의 안전성과 신뢰성과 관련된 주제에 대해 체계적인 문헌 검토를 수행한다.
• 연구 기여를 네 가지 핵심 주제로 분류하고 분석한다: 형식적 검증, 테스트 방법론, 적대적 공격 및 방어 기법, 해석 가능성 접근 방식.
• 각 주제에 대해 문헌에서 보고된 주요 기법, 가정, 한계점, 성능 지표를 분석한다.
• 최근의 진전을 강조하고, 각 분야에서의 추세, 열려 있는 문제점, 해결되지 않은 과제를 식별한다.
• 논문 간의 분석을 종합하여 공통적인 통찰과 연구 방향을 도출한다.

실험 결과

연구 질문

• RQ1 2017~2018년 기준으로 딥 뉴럴 네트워크(DNN)의 안전성과 신뢰성을 확보하기 위한 가장 두드러진 연구 방향은 무엇인가?
• RQ2 다양한 조건 하에서 DNN의 신뢰성을 보장하기 위해 현재 사용하는 검증 및 테스트 방법의 효과성은 어느 정도인가?
• RQ3 DNN의 주요 취약점은 무엇이며, 기존의 방어 기법은 얼마나 효과적인가?
• RQ4 해석 가능성 기법은 DNN의 사용자 신뢰도와 시스템 투명도 향상에 어느 정도 기여하는가?
• RQ5 현재의 신뢰할 수 있는 DNN에 관한 연구에서 가장 큰 열려 있는 과제와 한계는 무엇인가?

주요 결과

• 이 종합 검토는 DNN 안전성과 신뢰성에 관한 연구 활동이 크게 증가했음을 확인하였으며, 특히 자율주행 시스템에서 발생한 고조명 사고들로 인해 적대적 공격에 대한 강건성과 형식적 검증 분야에서 두드러진 연구 활동이 증가하였다.
• 검증 기법은 확장성과 정밀도 측면에서 진전을 이루었지만, 계산 복잡도로 인해 여전히 소형 및 중형 네트워크에 국한되어 있다.
• 적대적 공격 방어 기법은 다양한 정도의 성공을 보였지만, 더 강력하고 적응형 공격에 노출되었을 때는 대부분 취약한 것으로 밝혀졌다.
• 테스트 기반 접근 방식은 국소적인 실패를 탐지하는 데 효과적이지만, 입력 공간의 포괄적 커버리지 및 드문 극단적 케이스 탐지에는 어려움을 겪는다.
• 해석 가능성 기법은 모델의 투명도 향상과 사용자 신뢰도 향상에 도움이 되지만, 표준화 및 철저한 평가 프레임워크가 부족하다.
• 진전이 있었음에도 불구하고, 다양한 응용 분야에서 안전 보장의 확장성, 일반화 능력, 실생활 검증 측면에서 여전히 주요 과제가 남아 있다.