[논문 리뷰] Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks

David Bieber, Charles Sutton외 2명|arXiv (Cornell University)|2020. 10. 23.

Software Engineering Research참고 문헌 25인용 수 10

한 줄 요약

이 논문은 제어 흐름 그래프 상에서 지시어 포인터 전이의 흐름으로서 프로그램 실행을 모델링함으로써 RNN의 순차적 추론 능력과 GNN의 구조적 인덕티브 바이어스를 결합한 새로운 아키텍처인 지시어 포인터 어텐션 그래프 신경망(IPA-GNN)을 소개한다. IPA-GNN은 전체 및 부분 프로그램 실행 작업에서 RNN 및 GNN 기준 모델을 능가하며, 이산적인 분기 결정과 단절된 실행을 통해 체계적 일반화 능력을 향상시킨다.

ABSTRACT

Graph neural networks (GNNs) have emerged as a powerful tool for learning software engineering tasks including code completion, bug finding, and program repair. They benefit from leveraging program structure like control flow graphs, but they are not well-suited to tasks like program execution that require far more sequential reasoning steps than number of GNN propagation steps. Recurrent neural networks (RNNs), on the other hand, are well-suited to long sequential chains of reasoning, but they do not naturally incorporate program structure and generally perform worse on the above tasks. Our aim is to achieve the best of both worlds, and we do so by introducing a novel GNN architecture, the Instruction Pointer Attention Graph Neural Networks (IPA-GNN), which achieves improved systematic generalization on the task of learning to execute programs using control flow graphs. The model arises by considering RNNs operating on program traces with branch decisions as latent variables. The IPA-GNN can be seen either as a continuous relaxation of the RNN model or as a GNN variant more tailored to execution. To test the models, we propose evaluating systematic generalization on learning to execute using control flow graphs, which tests sequential reasoning and use of program structure. More practically, we evaluate these models on the task of learning to execute partial programs, as might arise if using the model as a heuristic function in program synthesis. Results show that the IPA-GNN outperforms a variety of RNN and GNN baselines on both tasks.

연구 동기 및 목표

• 기존 모델이 일반적인 GNN 전파 단계를 초월하는 장기적인 순차적 사슬이 필요한 프로그램 실행에 대해 추론하는 데에 한계가 있다는 점을 해결하기 위해.
• RNN은 순차적 추론에는 강력하지만 구조적 인식 능력이 떨어지고, GNN은 구조적 능력은 뛰어나지만 순차적 추론 능력이 제한된 점을 고려해 통합된 아키텍처를 설계함으로써 이 두 모델 간 격차를 메우기 위해.
• 특히 분포 이탈 및 부분 프로그램 입력 상황에서의 체계적 일반화를 평가하기 위해.
• 결함이 있거나 마스킹된 코드를 가진 프로그램을 실행할 수 있도록 학습함으로써 프로그램 합성에서 히우리스틱으로 활용할 수 있는 모델을 개발하기 위해.
• 어텐션 메커니즘이 관련 실행 경로에 집중하고 불필요한 단계를 건너뛰며 인터프리터 동작을 모방할 수 있음을 입증하기 위해.

제안 방법

• IPA-GNN는 각 노드가 프로그램 문장을 나타내는 제어 흐름 그래프 상에서 지시어 포인터 상태의 추적으로서 프로그램 실행을 모델링한다.
• 모델은 지시어 포인터의 현재 위치에 주목하는 어텐션 메커니즘을 사용하여 제어 흐름 그래프를 통해 메시지를 전파하는 그래프 신경망을 사용한다.
• 노드에 대한 소프트 어텐션 메커니즘을 도입하여 지시어 포인터의 이동을 시뮬레이션함으로써, 다음으로 실행할 문장을 동적으로 선택할 수 있도록 한다.
• 잠재적 분기 결정이 포함된 확률적 RNN 모델에서 유도된 아키텍처로, 이는 노드 상태에 대한 어텐션을 갖는 GNN로 재해석된다.
• 초기 상태와 제어 흐름 그래프가 주어졌을 때 최종 프로그램 상태를 예측하도록 지도 학습을 통해 엔드 투 엔드로 훈련된다. 이는 프로그램 실행 추적을 기반으로 한다.
• 제거 실험 결과, 지시어 포인터 어텐션은 필수적임을 입증하였으며, 이를 제거한 모델은 성능이 유의미하게 열 劣하다.

실험 결과

연구 질문

• RQ1 RNN의 순차적 추론 능력과 GNN의 구조적 인덕티브 바이어스의 장점을 결합한 신경망 아키텍처가 프로그램 실행 예측 성능 향상에 기여할 수 있는가?
• RQ2 실행 도중 분포 이탈 프로그램에 대해 IPA-GNN이 RNN 및 GNN 기준 모델보다 더 나은 체계적 일반화를 보이는가?
• RQ3 모델이 모든 노드에 대한 연속적 어텐션에 의존하는 대신, 이산적이고 해석 가능한 분기 결정을 학습할 수 있는가?
• RQ4 프로그래밍-예제 설정에서와 같이 일부 코드가 마스킹된 경우, 부분 프로그램 실행에서 모델의 성능은 어떠한가?
• RQ5 모델이 최적화된 인터프리터 동작을 모방하기 위해 실행을 단절하는 방식으로 학습하는가? 그리고 이는 일반화 능력을 향상시키는가?

주요 결과

• IPA-GNN은 전체 프로그램 실행 작업에서 62.1%의 정확도를 기록했으며, 부분 프로그램 실행 작업에서는 29.1%를 기록하여 모든 RNN 및 GNN 기준 모델을 능가했다.
• 복잡한 프로그램에서는 IPA-GNN이 기준 모델보다 뛰어난 성능 유지를 보였으며, 프로그램 복잡도가 증가함에 따라 기준 모델의 성능 저하가 더 빠르게 나타났다.
• 대부분의 경우 모델이 이산적인 분기 결정을 내리는 것으로 나타나, 연속적 어휘에 의존하는 것이 아니라 제어 흐름 의미를 내재화하고 있음을 시사한다.
• IPA-GNN은 실행을 단절하는 방식으로 학습한다: 예를 들어, while 루프 본문은 실제 추적에서 일곱 번 참조되는 동안 모델은 오직 한 번만 어텐션을 집중한다.
• 제거 실험 결과, 지시어 포인터 어텐션을 제거한 모델(NoExecute)은 성능이 유의미하게 떨어지며, 이는 일반화에 있어 어텐션의 중요성을 확인한다.
• 어텐션 가중치의 시각화 결과, 모델이 인간과 유사한 추론 방식을 따르며 관련 실행 경로에만 집중하는 것을 확인할 수 있었다.