[논문 리뷰] Neural Bug Finding: A Study of Opportunities and Challenges

Andrew Habib, Michael Pradel|arXiv (Cornell University)|2019. 06. 01.

Software Engineering Research참고 문헌 67인용 수 15

한 줄 요약

이 논문은 전통적인 정적 분석기에서 제공하는 레이블 예제를 사용하여 특정 코드 버그를 탐지하도록 딥 러닝 모델을 훈련시키는 신경망 버그 검출 기법을 조사한다. 일부 버그 패턴에 대해 신경망 모델이 80% 이상의 정밀도와 재현율을 달성하는 것으로 나타났지만, 기호적 분석이 쉽게 다룰 수 있는 프로그램 성질은 여전히 어려움을 겪어 학습 기반 버그 검출의 잠재력과 한계를 동시에 드러낸다.

ABSTRACT

Static analysis is one of the most widely adopted techniques to find software bugs before code is put in production. Designing and implementing effective and efficient static analyses is difficult and requires high expertise, which results in only a few experts able to write such analyses. This paper explores the opportunities and challenges of an alternative way of creating static bug detectors: neural bug finding. The basic idea is to formulate bug detection as a classification problem, and to address this problem with neural networks trained on examples of buggy and non-buggy code. We systematically study the effectiveness of this approach based on code examples labeled by a state-of-the-art, static bug detector. Our results show that neural bug finding is surprisingly effective for some bug patterns, sometimes reaching a precision and recall of over 80%, but also that it struggles to understand some program properties obvious to a traditional analysis. A qualitative analysis of the results provides insights into why neural bug finders sometimes work and sometimes do not work. We also identify pitfalls in selecting the code examples used to train and validate neural bug finders, and propose an algorithm for selecting effective training data.

연구 동기 및 목표

• 신경망이 기존 정적 분석 방식을 모방함으로써 특정 소프트웨어 버그를 효과적으로 학습하여 탐지할 수 있는지 조사하기.
• 수동 특징 공학 없이 엔드 투 엔드 신경망 버그 검출의 타당성과 효과성을 평가하기.
• 신경망 버그 탐지기 훈련을 위한 데이터 선택에서 발생하는 함정을 특정하고, 데이터 품질을 향상시키기 위한 방법을 제안하기.
• 기호적 분석이 쉽게 다룰 수 있는 프로그램 의미를 신경망 모델이 포착하지 못하는 이유를 이해하기.
• 신경망 버그 검출이 언제, 왜 성공하거나 실패하는지에 대한 통찰을 제공하여未래 연구를 안내하기.

제안 방법

• 기존의 생산용 정적 버그 검출기를 활용해 20개의 일반적인 버그 패턴에 대해 버그가 있는 코드 스니펫과 없는 코드 스니펫을 포함한 레이블된 훈련 데이터를 생성한다.
• 코드를 토큰 시퀀스로 표현하고, 각 특정 버그 패턴에 대해 버그가 있는지 없는지 분류하는 신경망을 훈련시킨다.
• 다양하고 대표적인 비버그 예제를 선택함으로써 훈련 데이터의 균형을 맞추기 위해 근사 최근접 이웃(ANN) 샘플링 전략을 사용한다.
• 토큰화된 코드 시퀀스를 기반으로 표준 딥 러닝 아키텍처(예: CNN 또는 트랜스포머)를 사용해 구분 능력을 학습하는 특징을 추출한다.
• 실제 세계의 코드베이스에서 유도된 보류된 테스트 세트를 사용해 정밀도, 재현율, F1 점수를 통해 모델 성능을 평가한다.
• 모델 예측의 정성적 분 析를 수행하여 실패 사례를 이해하고, 올바른/틀린 분류의 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 기존 정적 분석기에서 제공하는 예제를 기반으로 훈련된 신경망이 특정 버그 패턴을 효과적으로 탐지할 수 있는가?
• RQ2 다양한 버그 패턴에 걸쳐 신경망 버그 탐지기의 성능이 원본 정적 분석기와 비교해 어떻게 되는가?
• RQ3 효과적인 신경망 버그 검출을 위한 데이터 선택에서의 핵심 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 왜 일부 버그 패턴에 대해서는 신경망 모델이 성공하지만, 다른 패턴에 대해서는 실패하는가? 특히 기호적 분석이 쉽게 탐지할 수 있는 경우에 대해 설명하라.
• RQ5 작거나 불균형적인 훈련 데이터 세트가 여전히 효과적인 신경망 버그 탐지기를 만들어낼 수 있는가?

주요 결과

• 일부 일반적인 버그 패턴에 대해 신경망 버그 검출은 정밀도와 재현율이 80% 이상을 달성하여 특정 경우에서 강력한 효과를 보였다.
• 참고로, 참조 동일성 오용과 같은 특정 버그 패턴에 대해서는 신경망 모델이 잘 일반화되어 버그와 관련된 핵심적인 코드 패턴을 학습했다.
• 일부 패턴에서 뛰어난 성능을 보였음에도 불구하고, 제어 흐름이나 타입 안전성과 같이 기호적 정적 분석이 쉽게 다룰 수 있는 프로그램 성질은 여전히 신경망 모델이 탐지하지 못했다.
• 모델들은 종종 깊은 의미적 성질보다는 표면적인 문법적 패턴을 학습하여 의미적으로 복잡한 버그에서는 거짓 음성 결과가 발생했다.
• 놀랍게도, 철저하게 선택된 작은 훈련 데이터 세트—특히 ANN 기반 샘플링을 통해 데이터 다양성을 향상시킨 경우—는 효과적인 모델을 만들어낼 수 있었다.
• 나쁜 데이터 선택은 편향되거나 성능이 떨어지는 모델을 초래하며, 본 논문은 이러한 함정을 특정하고 이를 피하기 위한 안내 기반 샘플링 전략을 제안한다.