[논문 리뷰] Repairing Deep Neural Networks: Fix Patterns and Challenges

Johirul Islam, Rangeet Pan외 2명|arXiv (Cornell University)|2020. 05. 03.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 7

한 줄 요약

이 논문은 Caffe, Keras, TensorFlow, Theano, Torch 등 다섯 개인 DNN 라이브러리에서 Stack Overflow와 GitHub의 667개의 (버그, 수정) 인스턴스를 바탕으로 심층 신경망(DNN) 버그 수정 패턴에 대한 종합적인 연구를 제시한다. 특히 데이터 차원 및 연결성 수정 패턴이 두드러지며, 적대적 취약성과 새로운 버그 등의 위험을 드러내고, 버그 로컬라이제이션, 모델 재사용, 급속한 라이브러리 업데이트 등의 주요 과제를 규명하며, 향후 자동화된 수정 연구를 위한 공개 가능한 벤치마크를 기여한다.

ABSTRACT

Significant interest in applying Deep Neural Network (DNN) has fueled the need to support engineering of software that uses DNNs. Repairing software that uses DNNs is one such unmistakable SE need where automated tools could be beneficial; however, we do not fully understand challenges to repairing and patterns that are utilized when manually repairing DNNs. What challenges should automated repair tools address? What are the repair patterns whose automation could help developers? Which repair patterns should be assigned a higher priority for building automated bug repair tools? This work presents a comprehensive study of bug fix patterns to address these questions. We have studied 415 repairs from Stack overflow and 555 repairs from Github for five popular deep learning libraries Caffe, Keras, Tensorflow, Theano, and Torch to understand challenges in repairs and bug repair patterns. Our key findings reveal that DNN bug fix patterns are distinctive compared to traditional bug fix patterns; the most common bug fix patterns are fixing data dimension and neural network connectivity; DNN bug fixes have the potential to introduce adversarial vulnerabilities; DNN bug fixes frequently introduce new bugs; and DNN bug localization, reuse of trained model, and coping with frequent releases are major challenges faced by developers when fixing bugs. We also contribute a benchmark of 667 DNN (bug, repair) instances.

연구 동기 및 목표

• 심층 신경망(DNN) 소프트웨어에서 수동으로 버그를 수정할 때 사용되는 일반적인 패턴을 이해하기 위해.
• 버그 로컬라이제이션, 모델 재사용, 빈번한 라이브러리 업데이트 등의 과제를 포함해 DNN 버그 수정 시 개발자가 겪는 주요 과제를 규명하기 위해.
• DNN 버그 수정이 새로운 취약성 또는 버그를 유발하는지, 특히 적대적 취약성인지를 평가하기 위해.
• 높은 우선순위의 수정 패턴과 구조적 과제를 규명하여 자동화된 DNN 수정 도구 설계에 정보를 제공하기 위해.
• 향후 DNN 소프트웨어 공학 분야의 연구를 위해 667개의 (버그, 수정) 인스턴스를 포함한 공개 가능한 벤치마크를 기여하기 위해.

제안 방법

• 주요 다섯 개의 DNN 라이브러리인 Caffe, Keras, TensorFlow, Theano, Torch에서 Stack Overflow에서 415개의 DNN 버그 보고서와 GitHub에서 555개의 버그 보고서를 수집하였다.
• Stack Overflow의 수락된 답변 및 고득점 응답에서 320개의 수정 스니펫과 GitHub의 버그 수정 커밋에서 347개의 수정 스니펫을 선별 및 분석하였다.
• 반복적인 코딩과 검증을 통해 개발된 고유한 분류 체계를 활용해 개방형 코딩(open coding)을 적용하여 수작업으로 수정 패턴을 레이블링하고 분류하였다.
• 버그 유형, 라이브러리, 수정 패턴 간 비교 분석을 수행하여 반복되는 주제와 차이점을 규명하였다.
• 수정의 안전성을 평가하기 위해 수정이 새로운 버그 또는 적대적 취약성을 유발하는지 분석하였다.
• 재현 가능성과 향후 도구 개발을 위해 667개의 (버그, 수정) 쌍을 포함한 공개 벤치마크를 발표하였다.

실험 결과

연구 질문

• RQ1 RQ1: DNN 소프트웨어에서 가장 흔한 버그 수정 패턴은 무엇인가?
• RQ2 RQ2: 서로 다른 유형의 DNN 버그는 서로 다른 수정 패턴이 필요한가?
• RQ3 RQ3: 다양한 DNN 라이브러리 간에 수정 패턴이 일관된가?
• RQ4 RQ4: DNN 버그 수정이 새로운 버그 또는 적대적 취약성을 유발하는가?
• RQ5 RQ5: DNN 버그를 수정할 때 개발자가 겪는 주요 과제는 무엇인가?

주요 결과

• 가장 흔한 DNN 버그 수정 패턴은 데이터 차원 불일치 수정과 신경망 연결성 문제(예: 끊어진 또는 누락된 레이어) 수정이다.
• DNN 버그 수정 패턴은 전통적인 소프트웨어 버그 수정과 상당히 다르며, 주로 구조적 문제와 데이터 관련 문제들이 지배적이다.
• 상당한 비율의 DNN 수정이 새로운 버그를 유발하며, 이는 수정 과정에서의 레그래션 위험이 높다는 것을 시사한다.
• DNN 수정은 입력 차원이나 모델 아키텍처를 변경할 경우 특히 적대적 취약성을 유발할 수 있다.
• 주요 과제로는 DNN 버그의 로컬라이제이션 어려움, 행동적 인사이트 부족으로 인한 훈련된 모델의 재사용 제한, 급속한 라이브러리 업데이트에 대응하기 어려움이 있다.
• 본 연구는 향후 자동화된 수정 연구 및 도구 개발을 지원하기 위해 667개의 (버그, 수정) 인스턴스를 포함한 공개 가능한 벤치마크를 기여한다.