[논문 리뷰] Fault Localization with Code Coverage Representation Learning

Yi Li, Shaohua Wang외 1명|arXiv (Cornell University)|2021. 02. 27.

Software Engineering Research참고 문헌 51인용 수 4

한 줄 요약

이 논문은 코드 커버리지 표현 학습, 문장 간 의존성, 소스 코드 표현을 활용하여 결함 로컬라이제이션을 이미지 패턴 인식 문제로 간주하는 딥러닝 기반 접근법인 DeepRL4FL을 제안한다. 이는 기존 문장 수준 기준선 대비 491.7% 향상된 상위 1위 결함 로컬라이제이션 정확도와 기존 메서드 수준 기준선 대비 206.3% 향상된 성능을 달성하여 최신 기술 수준에 도달한다.

ABSTRACT

In this paper, we propose DeepRL4FL, a deep learning fault localization (FL) approach that locates the buggy code at the statement and method levels by treating FL as an image pattern recognition problem. DeepRL4FL does so via novel code coverage representation learning (RL) and data dependencies RL for program statements. Those two types of RL on the dynamic information in a code coverage matrix are also combined with the code representation learning on the static information of the usual suspicious source code. This combination is inspired by crime scene investigation in which investigators analyze the crime scene (failed test cases and statements) and related persons (statements with dependencies), and at the same time, examine the usual suspects who have committed a similar crime in the past (similar buggy code in the training data). For the code coverage information, DeepRL4FL first orders the test cases and marks error-exhibiting code statements, expecting that a model can recognize the patterns discriminating between faulty and non-faulty statements/methods. For dependencies among statements, the suspiciousness of a statement is seen taking into account the data dependencies to other statements in execution and data flows, in addition to the statement by itself. Finally, the vector representations for code coverage matrix, data dependencies among statements, and source code are combined and used as the input of a classifier built from a Convolution Neural Network to detect buggy statements/methods. Our empirical evaluation shows that DeepRL4FL improves the top-1 results over the state-of-the-art statement-level FL baselines from 173.1% to 491.7%. It also improves the top-1 results over the existing method-level FL baselines from 15.0% to 206.3%.

연구 동기 및 목표

• 실행된 테스트 케이스가 모두 통과하거나 실패하는 동안 동일한 문장을 실행하는 경우를 구분하지 못하는 스펙트럼 기반 및 멀티에이션 기반 결함 로컬라이제이션의 한계를 해결한다.
• 요약된 의심스러움 점수에 의존하는 기존 딥러닝 기반 결함 로컬라이제이션 접근법의 단점을 극복하며, 전체 코드 커버리지 패턴을 기반으로 한다.
• 동적 코드 커버리지 정보와 정적 소스 코드 표현, 데이터 의존성 정보를 통합하여 결함 로컬라이제이션 정확도를 향상시킨다.
• 향상된 코드 커버리지 행렬을 기반으로 하는 엔드 투 엔드 딥러닝을 통해 문장 수준과 메서드 수준 모두에서 더 효과적인 결함 로컬라이제이션을 가능하게 한다.
• 역사적 버그 데이터와 프로그램 구조를 활용하여 일반화 능력을 향상시키고, 미세하거나 복잡한 결함을 탐지하는 데 기여한다.

제안 방법

• 유사한 문장을 실행하는 테스트 케이스를 그룹화하도록 코드 커버리지 행렬 내 테스트 케이스의 순서를 재정렬하여 CNN 처리에 유리한 공간 패턴을 향상시킨다.
• 재정렬된 코드 커버리지 행렬에 표현 학습을 적용하여 결함이 있는 문장과 없는 문장 간의 구분 가능한 특징을 추출한다.
• 실행 및 데이터 흐름 정보를 활용하여 문장 간 데이터 의존성을 모델링하여 커버리지 정보만으로는 부족한 의심스러움 점수를 풍부하게 한다.
• 정적 프로그램 구조를 기반으로 소스 코드의 벡터 표현을 학습하여 동적 커버리지 및 의존성 특징을 보완한다.
• 코드 커버리지 표현, 의존성 표현, 소스 코드 표현을 통합하여 CNN 분류기의 입력으로 사용할 수 있는 유일한 입력을 구성한다.
• 융합된 표현 입력을 기반으로 CNN을 훈련시켜 문장과 메서드가 결함이 있는지 여부를 분류하도록 한다.

실험 결과

연구 질문

• RQ1 기존 스펙트럼 기반 방법과 비교해 코드 커버리지 행렬에 대한 딥 레이어 표현 학습이 결함 로컬라이제이션 정확도를 향상시키는가?
• RQ2 코드 커버리지 패턴과 함께 통합되었을 때 문장 간 데이터 의존성이 얼마나 결함 로컬라이제이션 성능을 향상시키는가?
• RQ3 동적 커버리지 및 의존성 특징과 함께 정적 소스 코드 표현을 통합할 경우 결함 로컬라이제이션 성능에 어떤 영향을 미치는가?
• RQ4 향상된 코드 커버리지 행렬을 기반으로 훈련된 CNN 기반 모델이 기존 최신 기술 수준의 결함 로컬라이제이션 기법을 초월할 수 있는가?
• RQ5 제안된 방법은 다양한 프로그래밍 언어와 결함 유형, 특히 드문 또는 복잡한 버그에 대해 어떻게 성능을 발휘하는가?

주요 결과

• Defects4J 데이터셋에서 DeepRL4FL은 최고의 문장 수준 기준선 대비 상위 1위 결함 로컬라이제이션 정확도를 491.7% 향상시켰다.
• ManyBugs 데이터셋에서 DeepRL4FL은 상위 1위 정확도 14.6%를 기록하여 기존 문장 수준 기준선을 크게 앞서 갔다.
• 메서드 수준 결함 로컬라이제이션에서 DeepRL4FL은 Defects4J에서 상위 1위 정확도 62.0%를 달성하여 기존 메서드 수준 기준선 대비 206.3% 향상된 성능을 보였다.
• 모델 성능은 테스트 케이스의 품질에 민감하며, 테스트 케이스가 희박하거나 결함 코드와 충돌 위치가 떨어져 있을 경우 성능이 떨어진다.
• 문장 추가가 필요한 결함에 대해서는 모든 기준선 방법과 마찬가지로 성능이 열등하여, 구조적 코드 변경을 다루는 데 한계를 보인다.
• 짧은 메서드에서는 문장 간 의존성이 부족하여 모델 성능이 열악한 편이므로, 표현 학습에서 프로그램 구조의 중요성을 확인할 수 있다.