[논문 리뷰] DeepBugs: A Learning Approach to Name-based Bug Detection

Michael Pradel, Koushik Sen|arXiv (Cornell University)|2018. 04. 30.

Software Engineering Research참고 문헌 53인용 수 14

한 줄 요약

DeepBugs는 JavaScript와 같은 동적 타입 언어에서 식별자 이름을 기반으로 한 버그 검출을 위한 기계학습 기반 접근법을 제안한다. 이는 식별자의 의미적 임베딩과 인위적으로 삽입된 버그를 학습 데이터로 사용하여 정확하고 효율적인 검출기 구축을 목표로 한다. 이 프레임워크는 89–95%의 정확도를 달성하며, 실제 102개의 버그를 탐지하여 참양성비율이 68%에 이른다.

ABSTRACT

Natural language elements in source code, e.g., the names of variables and functions, convey useful information. However, most existing bug detection tools ignore this information and therefore miss some classes of bugs. The few existing name-based bug detection approaches reason about names on a syntactic level and rely on manually designed and tuned algorithms to detect bugs. This paper presents DeepBugs, a learning approach to name-based bug detection, which reasons about names based on a semantic representation and which automatically learns bug detectors instead of manually writing them. We formulate bug detection as a binary classification problem and train a classifier that distinguishes correct from incorrect code. To address the challenge that effectively learning a bug detector requires examples of both correct and incorrect code, we create likely incorrect code examples from an existing corpus of code through simple code transformations. A novel insight learned from our work is that learning from artificially seeded bugs yields bug detectors that are effective at finding bugs in real-world code. We implement our idea into a framework for learning-based and name-based bug detection. Three bug detectors built on top of the framework detect accidentally swapped function arguments, incorrect binary operators, and incorrect operands in binary operations. Applying the approach to a corpus of 150,000 JavaScript files yields bug detectors that have a high accuracy (between 89% and 95%), are very efficient (less than 20 milliseconds per analyzed file), and reveal 102 programming mistakes (with 68% true positive rate) in real-world code.

연구 동기 및 목표

• 기존 정적 분석 도구가 식별자 이름을 무시하는 한계를 해결하기 위해, 프로그램의 의도된 동작에 대한 의미적 단서를 담고 있는 식별자 이름의 중요성을 강조하고자 한다.
• 변수나 함수 이름의 의미적 의미를 추론하는 데 있어, 이는 본질적으로 모호하고 문법적 분석만으로는 다루기 어려운 도전 과제이므로 이를 해결하고자 한다.
• 이전의 이름 기반 버그 검출기에서 수작업으로 히ュ리스틱을 설계하고 조정하는 데 소요되는 높은 인간적 노력 문제를 해결하기 위해, 이를 예시 기반 자동 학습으로 대체하고자 한다.
• 특히 타입 정보가 없는 동적 타입 언어에서 의미적으로 중요한 역할을 하는 식별자 이름에 기반한 미묘한 버그를 개선하고자 한다.

제안 방법

• 식별자 이름을 어휘적 일치를 넘어서는 의미적 유사성을 반영하는 학습된 의미적 임베딩으로 표현한다 (예: 'length'와 'count'는 의미적으로 유사하다).
• 버그 검출을 이진 분류 문제로 설정하여, 학습된 분류기로 정상 코드와 비정상 코드를 구분한다.
• 실제 코드에 간단한 문법적 변환을 적용하여 부정(비정상) 학습 예제를 생성한다. 예를 들어 함수 인수의 순서를 바꾸거나 이진 연산의 피연산자를 바꾼다.
• 실제(긍정) 및 인위적으로 변형된(부정) 코드 예제로 이루어진 균형 잡힌 데이터셋을 기반으로 분류기를 학습시어, 버그를 나타내는 패턴을 학습한다.
• 식별자 이름 의미론에 기반한 세 가지 전문화된 버그 검출기 구현: 함수 인수의 순서 뒤바꿈, 잘못된 이진 연산자 사용, 반복문 내 피연산자 순서 뒤바꿈.
• 15만 개의 JavaScript 파일로 구성된 코퍼스에 대해 훈련된 검출기를 적용하여 실제 적용 가능성과 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 기계학습 기반 접근법이 동적 타입 언어에서 수작업으로 설계된 히ュ리스틱보다 이름 기반 버그 검출에서 뛰어난 성능을 낼 수 있는가?
• RQ2 버그를 삽입하기 위해 사용된 인위적 코드 변환을 통해 생성된 부정 학습 예제가 이진 분류기의 학습에 효과적으로 활용될 수 있는가?
• RQ3 식별자의 의미적 임베딩에서 학습함으로써 어휘적 유사성 외의 버그도 향상된 검출이 가능한가?
• RQ4 인위적으로 삽입된 버그로 훈련된 모델이 실제 프로그래밍 실수를 높은 정밀도와 재현율로 일반화하여 탐지할 수 있는가?

주요 결과

• DeepBugs 프레임워크는 세 가지 별도의 버그 검출기에서 89–95%의 정확도를 달성하여 이름 기반 버그 검출에서 뛰어난 성능을 입증한다.
• 생산용 JavaScript 코드에서 실제 102개의 프로그래밍 실수를 탐지하였으며, 참양성비율이 68%에 이르러 훈련 데이터를 초월한 효과적인 일반화 능력을 보여준다.
• 파일당 평균 분석 시간은 20밀리초 미만으로, 이는 개발 파이프라인에 통합하기에 효율적임을 시사한다.
• 간단한 코드 변환을 통해 생성된 인위적 버그 예제가 매우 효과적인 분류기를 만들어내어, 이 접근법의 核심 통찰 즉, 합성 부정 예제가 강력한 검출기를 학습하는 데 유용하다는 점을 검증한다.
• 식별자의 의미적 임베딩은 어휘적 유사성만으로는 불가능한 버그 검출을 크게 향상시키며, 의미적으로 유사하지만 어휘적으로 다른 이름을 포함한 버그도 탐지할 수 있도록 한다.
• 기존 정적 분석 도구가 식별자 이름을 간과함으로써 놓치는 실제 코드 내의 버그를 프레임워크가 성공적으로 탐지하였다.