[논문 리뷰] An Effective Data-Driven Approach for Localizing Deep Learning Faults

Mohammad Wardat, Breno Dantas Cruz외 2명|arXiv (Cornell University)|2023. 07. 18.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 DNN 학습 중에 추출한 동적 및 정적 특징에 기반한 LSTM 기반 학습을 사용하여 여러 유형의 딥러닝 결함을 자동으로 국소화하는 데이터 기반 접근법인 Deep4Deep을 제안한다. 변형 모델에 대해 이전 작업보다 높은 정확도, 정밀도 및 재현율을 달성하였고, 실제 모델에 대해서도 유사한 성능을 보이며 수동 규칙 설계 없이도 확장 가능하고 자동화된 결함 원인 진단을 가능하게 한다.

ABSTRACT

Deep Learning (DL) applications are being used to solve problems in critical domains (e.g., autonomous driving or medical diagnosis systems). Thus, developers need to debug their systems to ensure that the expected behavior is delivered. However, it is hard and expensive to debug DNNs. When the failure symptoms or unsatisfied accuracies are reported after training, we lose the traceability as to which part of the DNN program is responsible for the failure. Even worse, sometimes, a deep learning program has different types of bugs. To address the challenges of debugging DNN models, we propose a novel data-driven approach that leverages model features to learn problem patterns. Our approach extracts these features, which represent semantic information of faults during DNN training. Our technique uses these features as a training dataset to learn and infer DNN fault patterns. Also, our methodology automatically links bug symptoms to their root causes, without the need for manually crafted mappings, so that developers can take the necessary steps to fix faults. We evaluate our approach using real-world and mutated models. Our results demonstrate that our technique can effectively detect and diagnose different bug types. Finally, our technique achieved better accuracy, precision, and recall than prior work for mutated models. Also, our approach achieved comparable results for real-world models in terms of accuracy and performance to the state-of-the-art.

연구 동기 및 목표

• 학습 중에 다양한 증상과 원인을 가진 다수의 결함 유형이 공존할 때 딥 뉴럴 네트워크(DNN) 디버깅의 과제를 해결하기 위해.
• 수동으로 만든 규칙 대신 결함 패tern의 데이터 기반 학습을 통해 결함 국소화에 필요한 수동 작업을 줄이기 위해.
• 다양한 아키텍처와 새로운 버그 유형에 대해 자동으로 확장 가능하고 확장 가능한 DNN 결함 국소화를 가능하게 하기 위해.
• 모델 행동에서 유도된 의미적 특징을 사용하여 관측된 학습 증상과 그 원인을 직접 연결함으로써 디버깅 효율을 향상시키기 위해.
• 정확한 결함 국소화를 제공함으로써 향후 자동 복구 기능 확장 지원을 위해.

제안 방법

• 학습 타임스탬프마다 모델 파라미터(가중치, 기울기, 메트릭스)로부터 동적 특징을 추출하여 학습 중 행동 패턴을 캡처한다.
• ONNX 형식의 모델 소스 코드로부터 정적 특징을 추출하며, 이는 구조적 및 구문적 정보를 나타내는 토큰 벡터를 포함한다.
• 동적 및 정적 특징을 통합하여 DNN의 런타임 행동과 구조적 의미를 모두 반영한 통합 표현을 만든다.
• 결함 증상과 원인 간의 복잡한 비선형 관계를 학습하기 위해 복합 특징 세트에 기반한 LSTM 모델을 훈련시킨다.
• 훈련된 LSTM 모델을 사용하여 관측된 학습 동역학 기반으로 결함 유형을 예측하고 국소화함으로써 자동 진단을 가능하게 한다.
• 새로운 버그 유형을 포함한 새로운 데이터셋에 대해 모델을 피지테이닝함으로써 확장성을 지원하며, 새로운 결함에의 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 단일 버그 유형 기반 기법의 범위를 초월하여, 데이터 기반 접근법이 동시에 여러 유형의 DNN 결함을 효과적으로 탐지하고 국소화할 수 있는가?
• RQ2 수동 규칙 사양 없이 동적 및 정적 특징에 기반한 LSTM 모델이 결함 증상과 원인 간의 맵핑을 얼마나 잘 학습할 수 있는가?
• RQ3 실제 모델과 변형 모델 모두에서 정확도, 정밀도 및 재현율 측면에서 기존의 결함 국소화 기법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 새로운 버그 유형을 위한 피지테이닝을 통해 접근법을 확장할 수 있는가? 이는 장기적인 확장성 보장에 기여하는가?
• RQ5 동적 및 정적 특징의 통합은 단독으로 하나의 특징만 사용하는 것보다 결함 국소화 성능을 얼마나 향상시키는가?

주요 결과

• Deep4Deep는 변형 모델에서 이전 작업(DepthLocalize 및 UMLAUT)보다 높은 정밀도, 재현율 및 F1 스코어를 달성하여 다양한 결함 유형 탐지 능력이 뛰어나다는 것을 입증하였다.
• 실제 모델에서 Deep4Deep는 최신 기술 수준과 유사한 정확도와 성능을 달성하여 실용적 환경에서의 효과성을 검증하였다.
• 동적 및 정적 특징의 통합은 행동적 정보와 구조적 의미 정보를 모두 캡처함으로써 결함 국소화 정확도를 크게 향상시켰다.
• LSTM 기반 모델은 복잡한 비선형 맵핑을 성공적으로 학습하여 수동 규칙 설계 없이도 정확한 진단이 가능했다.
• 이 접근법은 확장 가능하다: 새로운 버그 유형에 대해 피지테이닝을 수행함으로써 모델은 새로운 결함에 적응할 수 있으며, 장기적인 유지보수를 지원한다.
• Deep4Deep는 한 번의 모델에서 동시에 여러 결함을 국소화할 수 있으며, 이는 이전 방법이 한 번에 하나의 결함 유형에만 집중했던 제약을 극복한다.