[논문 리뷰] A Hybrid Approach for Learning Program Representations

Ke Wang, Zhendong Su|arXiv (Cornell University)|2019. 07. 03.

Software Engineering Research인용 수 1

한 줄 요약

이 논문은 Liger를 제안하며, 이는 심볼릭 실행과 실체 실행 트레이스를 결합하여 프로그램 표현을 학습하는 하이브리드 딥 뉴럴 네트워크로, 프로그램 의미론 분류와 메서드 이름 예측에서 최신 기술 수준의 성능을 달성한다. Liger는 Gated Graph Neural Network나 code2vec와 같은 문법 기반 모델을 능가하며, DyPro와 같은 동적 모델 대비 실행 요구량을 10배 줄여 74% 적은 경로를 커버한다.

ABSTRACT

Learning neural program embeddings is key to utilizing deep neural networks in program languages research --- precise and efficient program representations enable the application of deep models to a wide range of program analysis tasks. Existing approaches predominately learn to embed programs from their source code, and, as a result, they do not capture deep, precise program semantics. On the other hand, models learned from runtime information critically depend on the quality of program executions, thus leading to trained models with highly variant quality. This paper tackles these inherent weaknesses of prior approaches by introducing a new deep neural network, \liger, which learns program representations from a mixture of symbolic and concrete execution traces. We have evaluated \liger on \coset, a recently proposed benchmark suite for evaluating neural program embeddings. Results show \liger (1) is significantly more accurate than the state-of-the-art syntax-based models Gated Graph Neural Network and code2vec in classifying program semantics, and (2) requires on average 10x fewer executions covering 74\% fewer paths than the state-of-the-art dynamic model \dypro. Furthermore, we extend \liger to predict the name for a method from its body's vector representation. Learning on the same set of functions (more than 170K in total), \liger significantly outperforms code2seq, the previous state-of-the-art for method name prediction.

연구 동기 및 목표

• 기존 프로그램 임bedding 모델이 소스 코드나 런타임 실행에만 의존하는 한계를 해결하기 위해.
• 심볼릭 및 실체 실행 트레이스를 융합하여 신경망 프로그램 임베딩의 정확도와 강건성을 향상시키기 위해.
• 학습에 필요한 프로그램 실행 수를 줄이면서도 성능을 유지하거나 향상시키기 위해.
• 통합된 표현 프레임워크를 사용해 프로그램 코드 임베딩에서 효과적인 메서드 이름 예측을 가능하게 하기 위해.

제안 방법

• Liger는 심볼릭 실행을 통해 고수준의 프로그램 의미론을 추출하고, 실체 실행 트레이스를 통해 동적 행동을 포착한다.
• 모델은 심볼릭 분석에서 유도된 제어 흐름 및 데이터 종속성 구조를 인코딩하기 위해 그래프 신경망을 사용한다.
• 실체 실행 트레이스는 시퀀스 인코더를 통해 다양한 입력에서의 런타임 행동을 모델링한다.
• 심볼릭 및 동적 표현은 학습 가능한 어텐션 메커니즘을 통해 융합되어 통합된 프로그램 임베딩을 생성한다.
• 최종 임베딩은 프로그램 의미론과 메서드 이름 예측 작업에 대해 대비 학습을 통해 종단 간 최적화된다.
• 모델은 의미론 분류 및 메서드 이름 예측 모두에 대해 17만 개 이상의 함수로 구성된 대규모 데이터셋에서 훈련된다.

실험 결과

연구 질문

• RQ1 심볼릭 및 실체 실행 트레이스를 융합하면 순수하게 문법 기반 또는 동적 접근 방식에 비해 신경망 프로그램 임베딩의 정확도를 향상시킬 수 있는가?
• RQ2 Liger는 성능을 유지하거나 향상시키면서 얼마나 많은 프로그램 실행을 줄일 수 있는가?
• RQ3 기존 최신 기술 수준의 모델에 비해 Liger는 메서드 이름 예측과 같은 후행 작업에 얼마나 잘 일반화되는가?
• RQ4 심볼릭 및 동적 프로그램 표현의 융합은 더 강건하고 의미적으로 정밀한 임베딩을 이끌어내는가?

주요 결과

• Liger는 CoSeT 벤치마크에서 프로그램 의미론 분류 작업에서 Gated Graph Neural Network와 code2vec보다 유의미하게 높은 정확도를 달성한다.
• Liger는 DyPro와 같은 최신 기술 수준의 동적 모델에 비해 평균적으로 10배 적은 프로그램 실행 수로 유사한 성능을 달성한다.
• Liger는 높은 정확도를 유지하면서 DyPro 대비 74% 적은 실행 경로를 커버하여 샘플 효율성이 향상됨을 시사한다.
• 메서드 이름 예측 작업에서 Liger는 이전 최신 기술 수준의 모델인 code2seq을 동일한 17만 개 이상의 함수로 구성된 데이터셋에서 뚜렷이 능가한다.
• 하이브리드 접근 방식은 문법 전용 모델보다 더 깊은 의미 정보를 포착하고, 실행 전용 모델보다 더 일관된 행동을 반영한다.
• 모델의 통합 표현 프레임워크는 다양한 프로그램 분석 작업에 걸쳐 강력한 제로샷 일반화를 가능하게 한다.