[논문 리뷰] Testing Neural Program Analyzers

Rafiqul Islam Rabin, Ke Wang외 1명|arXiv (Cornell University)|2019. 08. 25.

Software Engineering Research참고 문헌 16인용 수 11

한 줄 요약

이 논문은 루프 교환, 변수 이름 변경, switch-to-if 변환과 같은 기법을 통해 의미적으로 동일하지만 문법적으로 다른 프로그램을 생성함으로써 신경 프로그램 분석기의 강건성 평가를 위한 변환 기반 테스팅 프레임워크를 제안한다. 주요 발견은 심지어 미세한 문법적 변경이라도 최신 모델인 code2vec와 같은 모델이 레이블을 잘못 예측하게 하며, 이는 신경 프로그램 분석 모델에 심각한 취약성이 있음을 드러낸다.

ABSTRACT

Deep neural networks have been increasingly used in software engineering and program analysis tasks. They usually take a program and make some predictions about it, e.g., bug prediction. We call these models neural program analyzers. The reliability of neural programs can impact the reliability of the encompassing analyses. In this paper, we describe our ongoing efforts to develop effective techniques for testing neural programs. We discuss the challenges involved in developing such tools and our future plans. In our preliminary experiment on a neural model recently proposed in the literature, we found that the model is very brittle, and simple perturbations in the input can cause the model to make mistakes in its prediction.

연구 동기 및 목표

• 소프트웨어 공학 분야에서 신경 프로그램 분석기의 체계적인 테스팅 방법 부족 문제를 해결하기 위해.
• 의미 유지 코드 변환 기법이 모델의 취약성과 예측 일관성 문제를 드러내는 데 효과적인지 조사하기 위해.
• 의미적으로 동일한 프로그램을 유지하면서 문법적 구조를 변경하는 합성 테스트 프로그램을 생성하기 위한 프레임워크를 개발하기 위해.
• 원본 프로그램과 변환된 프로그램 간의 예측 비교를 통해 모델의 강건성 평가하기 위해.
• 신경 모델에서 예측 실패를 가장 효과적으로 유도하는 변환 유형을 특정하기 위해.

제안 방법

• 루프 교환(for ↔ while), 변수 이름 변경, 불리언 스위칭, switch-to-if 변환, 문장 재정렬과 같은 의미 유지 코드 변환을 적용하기 위해.
• 학습 데이터셋의 원본 프로그램에 변환을 적용하여 의미를 유지하면서도 합성 테스트 프로그램을 생성하기 위해.
• 신경 모델을 사용해 원본 및 변환된 프로그램의 레이블을 예측하고 출력을 비교하기 위해.
• 변환 기반 메타모픽 관계 정의: 의미적으로 동일한 변형 버전 간에 예측이 일관성 유지되어야 함.
• 예측의 편차를 감지하기 위해 예측 간 유사성 임계값 설정하기 위해.
• 각각 자바 및 C# 데이터셋을 사용해 code2vec 및 GGNN 모델에 프레임워크 평가하기 위해.

실험 결과

연구 질문

• RQ1 의미 유지 코드 변환 기법이 신경 프로그램 분석기의 예측 불일치를 효과적으로 드러내는가?
• RQ2 어느 유형의 코드 변환이 신경 모델의 잘못된 예측을 가장 잘 유도하는가?
• RQ3 의미적으로 동일한 프로그램의 다양한 문법적 변형에서 모델의 강건성은 어떻게 달라지는가?
• RQ4 code2vec 및 GGNN과 같은 일반적인 신경 프로그램 임베딩 모델이 문법적 변형에 얼마나 취약한가?
• RQ5 변환 기반 테스팅을 체계적으로 적용해 신경 프로그램 분석 모델의 신뢰성을 평가할 수 있는가?

주요 결과

• code2vec 모델은 isPrime 함수의 while 루프 버전을 의미적으로 동일한 for 루프 버전과 동일하게 간주하지 못하고 'skip' 메서드로 잘못 예측했다.
• while 루프 버전에 대해 'isPrime'을 상위 5개 예측에 포함시키지 못해 예측 정확도가 심각하게 떨어졌다.
• 루프 교환 및 switch 변환과 같은 의미 유지 변환은 동일한 의미를 가진 프로그램 형태 간에 일관성 없는 예측을 유도했다.
• 모든 변환 유형이 동일하게 효과적이지 않으며, 종합적인 테스팅을 위해 다양한 변환 기법이 필요함을 시사했다.
• 초기 결과는 신경 프로그램 분석기가 매우 취약하며, 미세한 문법적 변경에도 큰 예측 편차가 발생함을 확인했다.
• 프레임워크는 모델의 불안정성을 성공적으로 드러내었으며, 신경 프로그램 분석에서 강건성 테스팅의 필요성을 강조했다.