[논문 리뷰] Learning Scalable and Precise Representation of Program Semantics

Ke Wang|arXiv (Cornell University)|2019. 05. 13.

Software Engineering Research참고 문헌 20인용 수 16

한 줄 요약

DyPro는 랜덤 테스팅에서 생성된 실행 트레이스를 학습 데이터로 사용하여 양방향 RNN을 통해 핵심 상태를 압축하고 실행 간 일반화를 이루는 딥 뉴럴 네트워크입니다. 이는 정적 모델인 GGNN과 TreeLSTM보다 의미 분류 및 루프 인variant 탐지에서 뛰어난 성능을 보이며, 인variant 예측에서 73.9%의 정확도를 달성하여 정적 모델보다 훨씬 높은 수준의 깊이 있는 의미적 특성을 포착할 수 있음을 입증합니다.

ABSTRACT

Neural program embedding has shown potential in aiding the analysis of large-scale, complicated software. Newly proposed deep neural architectures pride themselves on learning program semantics rather than superficial syntactic features. However, by considering the source code only, the vast majority of neural networks do not capture a deep, precise representation of program semantics. In this paper, we present \dypro, a novel deep neural network that learns from program execution traces. Compared to the prior dynamic models, not only is \dypro capable of generalizing across multiple executions for learning a program's dynamic semantics in its entirety, but \dypro is also more efficient when dealing with programs yielding long execution traces. For evaluation, we task \dypro with semantic classification (i.e. categorizing programs based on their semantics) and compared it against two prominent static models: Gated Graph Neural Network and TreeLSTM. We find that \dypro achieves the highest prediction accuracy among all models. To further reveal the capacity of all aforementioned deep neural architectures, we examine if the models can learn to detect deeper semantic properties of a program. In particular given a task of recognizing loop invariants, we show \dypro beats all static models by a wide margin.

연구 동기 및 목표

• 정적 신경망 모델이 깊이 있는 프로그램 의미를 아닌 얕은 구문적 특성만 포착한다는 한계를 해결하기 위해.
• 다양한 프로그램 실행 간 일반화를 통해 통합된 프로그램 의미를 학습할 수 있는 동적 모델을 개발하기 위해.
• 실제 프로그램에서 흔히 발생하는 긴 실행 트레이스를 처리할 때 효율성과 확장성을 향상시키기 위해.
• 딥 러닝 모델이 루프 인variant와 같이 정확한 의미 이해가 필요한 복잡한 의미적 특성을 학습할 수 있는지 평가하기 위해.
• 실행 기반 학습이 소스 코드만 기반으로 하는 접근 방식보다 더 정확하고 깊이 있는 의미 표현을 가능하게 하는지 입증하기 위해.

제안 방법

• DyPro는 각 프로그램에 대해 랜덤 테스팅을 통해 다양한 입력에서 생성된 다수의 실행 트레이스를 생성하여 다양한 입력에서의 학습을 가능하게 합니다.
• 각 실행 트레이스를 스캔하기 위해 양방향 RNN을 적용하고 비필수 단계를 제거하여 핵심 프로그램 상태를 유지합니다.
• 개별 실행 임베딩을 풀링하고 압축하여 단일이고 컴act한 프로그램 수준의 표현으로 압축합니다.
• 루프 인variant 탐지에 있어, 변수 값과 인variant 토큰을 주입 임베딩을 통해 입력 임베딩 공간에 통합합니다.
• 공통된 예측 레이어를 사용하는 통합 아키텍처를 사용하며, 프로그램 임베딩과 인variant 임베딩을 연결하여 분류 전처리를 수행합니다.
• 훈련에 허지 손실을 사용하여, 모든 모델에서 교차 엔트로피보다 우수한 성능을 달성합니다.

실험 결과

연구 질문

• RQ1 실행 트레이스를 기반으로 훈련된 딥 러닝 모델이 정적 모델보다 더 정밀하고 확장 가능한 프로그램 의미 표현을 학습할 수 있는가?
• RQ2 같은 구문을 가진 서로 다른 의미를 가진 프로그램, 예를 들어 버블 정렬과 삽입 정렬을 구분하는 데 모델의 성능은 어떠한가?
• RQ3 루프 인variant와 같이 문법을 넘어서 프로그램 동작 이해가 필요한 깊이 있는 의미적 특성을 모델이 탐지할 수 있는가?
• RQ4 기존의 동적 모델과 비교해 실행 트레이스 길이가 증가함에 따라 모델의 확장성은 어떻게 변화하는가?
• RQ5 실행 기반 학습이 정적 모델이 탐지하지 못하는 의미적 인바리언트를 어느 정도 포괄할 수 있는가?

주요 결과

• DyPro는 루프 인variant 분류에서 73.9%의 정확도를 달성하여 GGNN(47.5%)과 TreeLSTM(51.8%)보다 뚜렷이 뛰어나 의미 이해 능력이 뛰어나다는 것을 시사합니다.
• 의미 분류에서 DyPro는 정적 기준 모델과 동적 모델을 포함한 모든 테스트 모델 중에서 가장 높은 예측 정확도를 기록했습니다.
• 실행 트레이스 길이가 증가함에 따라 DyPro는 동적 상태 트레이스 신경망(DSTNN)보다 정확도 감소 폭이 작아 더 우수한 확장성을 보였습니다.
• 정적 모델은 버블 정렬과 삽입 정렬 간의 문법적 차이가 있음에도 불구하고 의미적 차이를 구분하지 못하지만, DyPro는 성공적으로 의미적 차이를 포착했습니다.
• 허지 손실 사용은 모든 모델에서 성능 향상을 가져왔지만, 공통 최적화를 적용한 후에도 DyPro는 정적 모델에 비해 뚜렷한 격차를 유지했습니다.
• DyPro의 상태 감소 메커니즘은 의미 정밀도를 훼손하지 않으면서 긴 트레이스를 효율적으로 처리할 수 있게 해 확장성 향상을 이룹니다.