[논문 리뷰] Inferring Javascript types using Graph Neural Networks

Jessica Schrouff, Kai Wohlfahrt외 2명|arXiv (Cornell University)|2019. 05. 16.

Software Engineering Research참고 문헌 15인용 수 4

한 줄 요약

이 논문은 문법적 및 의미적 간선을 갖는 그래프로 소스 코드를 표현함으로써 자바스크립트 토큰 타입을 추론하는 그래프 신경망(GNN) 모델을 제안한다. 이 모델은 여덟 가지 자바스크립트 타입을 예측할 때 90% 이상의 정확도를 달성하며, 이는 이전 연구를 뛰어넘는 성능을 보이며 코드 에디터나 정적 분석 도구에 통합될 잠재력을 보여준다.

ABSTRACT

The recent use of `Big Code' with state-of-the-art deep learning methods offers promising avenues to ease program source code writing and correction. As a first step towards automatic code repair, we implemented a graph neural network model that predicts token types for Javascript programs. The predictions achieve an accuracy above $90\%$, which improves on previous similar work.

연구 동기 및 목표

• 실행 시에 타입 오류가 발견되지 않을 수 있는 동적 타이핑을 가진 자바스크립트에서 타입 추론 문제를 해결하기 위해.
• 정적 타입 주석에 의존하지 않고 토큰 수준의 타입을 예측할 수 있는 딥러닝 모델을 개발하기 위해.
• 추상 구문 트리(_AST_) 기반의 그래프 기반 신경망을 활용하여 기존 타입 추론 방법을 향상시키기 위해.
• 온라인 코드 에디터나 코드 리뷰 도구와 같은 실시간 개발 환경에 통합 가능한 실용적인 시스템을 구축하기 위해.
• GNN이 자바스크립트의 타입 예측을 위한 프로그램 구조 모델링에 얼마나 효과적인지 평가하기 위해.

제안 방법

• 각 자바스크립트 소스 파일은 추상 구문 트리(_AST_)로 파싱되며, 노드는 AST 토큰을 나타내고 간선은 문법적(예: '자식') 및 의미적(예: '정의됨') 관계를 표현한다.
• 노드 특징은 AST 노드 유형(144개 클래스), 속성(107종류), 문자열 값(최대 16자)으로 구성되며, 각각 전용 임bedding 레이어를 거친다.
• 노드 임베딩은 결합되어 배치 정규화, 드롭아웃, ReLU 활성화를 적용한 피드포워드 신경망을 거친다.
• 두 가지 GNN 아키텍처가 평가되었으며, 메시지 전파를 통해 이웃 정보를 집계하는 방식을 사용한다: 그래프 컬러션 네트워크(GCN)와 게이트드 그래프 신경망(GGNN).
• GCN는 간선 유형별로 별도의 선형 레이어를 사용하며, 메시지를 합산하고 ReLU를 적용한다; GGNN는 동일한 가중치를 공유하는 레이어 간에 GRU 셀을 사용하여 상태를 갱신한다.
• GGNN에서 장거리 의존성을 모델링하기 위해 마스터 노드를 탐색했지만, 최종 설정에서는 성능 향상이 없어 제거되었다.

실험 결과

연구 질문

• RQ1 정적 타입 정보에 의존하지 않고 AST 기반 프로그램 표현에서 GNN이 자바스크립트 토큰 타입을 효과적으로 추론할 수 있는가?
• RQ2 실제 코드에서 GCN와 GGNN와 같은 다양한 GNN 아키텍처가 자바스크립트 타입 추론 성능에 어떻게 영향을 미치는가?
• RQ3 이 맥락에서 GNN의 최적의 타입 예측 정확도를 얻기 위한 최적의 하이퍼파라미터 설정은 무엇인가?
• RQ4 마스터 노드의 포함 여부가 AST 그래프에 훈련된 GNN의 타입 예측 성능에 영향을 미치는가?
• RQ5 이 모델은 실제 개발 환경에서 새로운 레포지터리에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 GNN 모델은 90% 이상의 타입 예측 정확도를 달성하며, 동일한 작업에서 이전 방법보다 뚜렷이 뛰어난 성능을 보였다.
• GCN 모델은 인코딩 피드포워드 블록 없이, 히든 사이즈 64, 드롭아웃 비율 0.1, 7~10개의 메시지 전파 레이어, 1개의 디코딩 레이어에서 최고 성능을 보였다.
• GGNN 모델은 1개의 인코딩 레이어, 히든 사이즈 128, 드롭아웃 없음, 5개의 메시지 전파 레이어, 마스터 노드 없음, 1개의 디코딩 레이어에서 최고 성능을 보였다.
• 마스터 노드의 포함은 성능 향상에 기여하지 않았으며, 최종 GGNN 설정에서 제거되었다. 이는 AST 그래프에서는 장거리 연결이 유용하지 않음을 시사한다.
• 하이퍼파라미터 탐색 결과, 메시지 전파 레이어 수와 디코딩 레이어 수가 많을수록 성능 향상이 있었으며, 특히 GCN에서 두드러졌다.
• 훈련 및 테스트 데이터가 레포지터리 수준에서 분리되어 데이터 泄露를 방지함으로써, 모델은 새로운 레포지터리에 대해 잘 일반화됨을 확인했다.