[논문 리뷰] Evaluation of Generalizability of Neural Program Analyzers under Semantic-Preserving Transformations

Md Rafiqul Islam Rabin, Mohammad Amin Alipour|arXiv (Cornell University)|2020. 04. 15.

Software Engineering Research참고 문헌 39인용 수 8

한 줄 요약

이 논문은 코드2벡과 코드2시퀀스와 같은 신경망 프로그램 분석기의 일반화 능력을 의미 유지 프로그램 변환 하에서 평가하며, 변수 이름 변경이나 순서 재정렬과 같은 미세한 구조적 변화가 예측 결과에 상당한 영향을 미칠 수 있음을 밝혀냈다. 연구 결과, 이러한 모델은 문법적 변형에 대해 취약하며, 실제 프로그램 분 析 작업에서의 신뢰성에 우려를 제기한다.

ABSTRACT

The abundance of publicly available source code repositories, in conjunction with the advances in neural networks, has enabled data-driven approaches to program analysis. These approaches, called neural program analyzers, use neural networks to extract patterns in the programs for tasks ranging from development productivity to program reasoning. Despite the growing popularity of neural program analyzers, the extent to which their results are generalizable is unknown. In this paper, we perform a large-scale evaluation of the generalizability of two popular neural program analyzers using seven semantically-equivalent transformations of programs. Our results caution that in many cases the neural program analyzers fail to generalize well, sometimes to programs with negligible textual differences. The results provide the initial stepping stones for quantifying robustness in neural program analyzers.

연구 동기 및 목표

• 의미적으로 동일하지만 문법적으로 다를 수 있는 프로그램에 직면했을 때 신경망 프로그램 분석기의 일반화 능력을 조사하기 위해.
• 코드2벡과 코드2시퀀스와 같은 널리 사용되는 신경망 모델이 소스 코드의 미세한 구조적 변화에 대해 일관된 예측을 유지하는지 평가하기 위해.
• 현재의 신경망 프로그램 분석기가 의미를 유지하는 변형에 얼마나 취약한지 정도를 규명하기 위해.
• 기존 모델의 한계에 대한 경험적 증거를 제공하여 향후 신뢰성 있고 견고한 신경망 기반 코드 분석 기술 개발을 촉진하기 위해.
• 신경망 프로그램 분석 시스템의 내구성과 신뢰성 측정을 위한 기초 평가로 기능하기 위해.

제안 방법

• 코드2시퀀스 학습 데이터셋의 프로그램에 대해 일곱 가지 의미 유지 변환을 적용하였으며, 변수 이름 변경, 문장 순서 재정렬, 제어 흐름의 리팩터링 등이 포함되었다.
• 원본 프로그램의 의미적 동치성과 추상 구문 트리(abstract syntax tree, AST)의 구조 및 동작을 유지하면서 의미적으로 동일한 변형 프로그램을 생성하였다.
• 코드2벡과 코드2시퀀스 모델을 사용하여 원본 및 변형된 프로그램에서 출력(예: 메서드 이름)을 예측하였다.
• 원본 및 변형된 프로그램 간의 예측을 비교하여 일반화 부족을 나타내는 예측 이탈을 탐지하였다.
• 통계적 신뢰성을 확보하기 위해 다양한 데이터셋과 변환 유형을 대상으로 대규모 평가를 수행하였다.
• 다양한 변환 유형에서의 예측 변화 빈도와 심각도를 정량화하여 모델의 민감도를 평가하였다.

실험 결과

연구 질문

• RQ1 코드2벡과 코드2시퀀스와 같은 신경망 프로그램 분석기가 의미적으로 동일하지만 소량의 문법적 변화가 있는 프로그램에 대해 얼마나 일반화되는가?
• RQ2 의미 유지 변환의 다양한 유형이 신경망 프로그램 분석기의 예측 일관성에 어떤 영향을 미치는가?
• RQ3 특정 변환 유형이 신경망 모델의 예측 이탈을 유발하는 데에 특히 높은 영향을 미치는가?
• RQ4 구조적으로 변경되었지만 기능적으로 동일한 코드에 노출되었을 때 신경망 모델의 성능이 어떻게 저하되는가?
• RQ5 관찰된 예측 이탈이 의미적 내용이 아닌 문법적 변형에 대한 모델 민감도 때문인가?

주요 결과

• 원본 프로그램에서 정확한 예측를 내놓았던 경우의 9.19%에서 36.36% 범위에서, 의미 유지 변환 이후 잘못된 예측으로 바뀌었다.
• 변수 이름 변경과 문장 순서 재정렬이 예측 이탈 비율이 가장 높았으며, 이는 문법적 구조에 대한 민감도를 시사한다.
• 프로그램의 의미와 AST 구조를 유지하는 변환에도 불구하고 모델은 일관되지 않은 행동을 보였다.
• 현재의 신경망 프로그램 분석기는 의미적으로 동일한 코드 변형에 대해 취약하며 신뢰할 수 있는 일반화 능력이 떨어진다.
• 예측 성능 저하가 변환 유형에 따라 균일하지 않았으며, 일부 변화는 다른 것들보다 훨씬 높은 오류율을 유발했다.
• 표준 벤치마크에서의 높은 정확도에도 불구하고, 신경망 모델의 내구성에 심각한 격차가 존재함을 드러냈다.