[논문 리뷰] LambdaNet: Probabilistic Type Inference using Graph Neural Networks

Jiayi Wei, Maruth Goyal외 2명|arXiv (Cornell University)|2020. 04. 29.

Software Engineering Research참고 문헌 24인용 수 46

한 줄 요약

LambdaNet은 타입 의존성 그래프와 그래프 신경망을 사용하여 TypeScript 타입(사용자 정의 타입 포함)을 추론하고, 라이브러리 타입 정확도와 오픈 어휘 예측을 가능하게 하는 강력한 라이브러리 타입 정확도와 오픈-어휘 예측을 가능하게 한다.

ABSTRACT

As gradual typing becomes increasingly popular in languages like Python and TypeScript, there is a growing need to infer type annotations automatically. While type annotations help with tasks like code completion and static error catching, these annotations cannot be fully determined by compilers and are tedious to annotate by hand. This paper proposes a probabilistic type inference scheme for TypeScript based on a graph neural network. Our approach first uses lightweight source code analysis to generate a program abstraction called a type dependency graph, which links type variables with logical constraints as well as name and usage information. Given this program abstraction, we then use a graph neural network to propagate information between related type variables and eventually make type predictions. Our neural architecture can predict both standard types, like number or string, as well as user-defined types that have not been encountered during training. Our experimental results show that our approach outperforms prior work in this space by $14\%$ (absolute) on library types, while having the ability to make type predictions that are out of scope for existing techniques.

연구 동기 및 목표

• 자동 주석 인식이 가능한 Gradually-typed 언어인 TypeScript에 대한 자동 타입 주석 추론의 필요성 및 동기를 제공한다.
• 타입 제약과 맥락 힌트를 인코딩하는 새로운 프로그램 추상화인 타입 의존성 그래프를 도입한다.
• 그래프를 통해 정보를 전파하고 타입을 예측하는 GNN 기반 아키텍처를 개발한다.
• 학습 중에 보지 못한 사용자 정의 타입의 예측을 가능하게 하는 포인터-네트워크 유사 예측 계층을 도입한다.
• 실제 TypeScript 프로젝트에서 평가하고 이전 접근법과 비교하여 라이브리 타입 정확도와 오픈-보카빌리티 기능의 향상을 보인다.

제안 방법

• 정적 분석을 통해 노드가 타입 변수이고 하이퍼에지들이 논리적 제약과 맥락 힌트를 인코딩하는 타입 의존성 그래프를 구성한다.
• 다중-에지 타입 그래프 신경망 메시지 전달을 통해 노드 임베딩을 계산하고 Fixed, NAry, NPairs 하이퍼에지를 처리한다.
• 메시지를 결합하고 장거리 추론을 가능하게 하는 어텐션 기반 집계를 사용한다.
• 타입-변수 임베딩과 대조되는 후보 타입들을 점수화하는 포인터-네트워크 유사 예측 계층을 활용하여 사용자 정의 타입을 포함한 오픈 보카빌리티를 가능하게 한다.
• 라이브러리 타입과 사용자 정의 타입을 모두 표현하고, 라이브러리 타입 임베딩을 변수 노드나 고정된 라이브러리 타입 벡터에 연결한다.
• Adam으로 엔드-투-엔드 학습을 수행하고 검증 세트에서 하이퍼파라미터를 조정하며, 변수당 예측을 통해 발생 사례 간 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 LambdaNet이 TypeScript의 라이브러리 타입 추론에서 이전 연구를 능가할 수 있는가?
• RQ2 모델이 학습 중 보지 못한 사용자 정의 타입을 정확하게 예측할 수 있는가?
• RQ3 논리적 및 맥락적 하이퍼에지가 예측 정확도에 얼마나 기여하는가?
• RQ4 GNN의 장거리 메시지 전달이 추론 품질을 향상시키는가?
• RQ5 오픈-보카빌리티, 포인터-네트워크 기반 예측이 전통적 고정 보카빌러리 접근법과 비교하여 어떠한 성능 차이가 있는가?

주요 결과

• LambdaNet은 라이브러리 타입에 대해 top-1 정확도 75.6%(K=6)을 달성하고, DeepTyper의 라이브러리 타입만으로의 정확도는 61.5%이다.
• 전체 top-1 정확도(사용자 정의 타입 포함)는 약 64.2%로, TypeScript 컴파일러 기본값보다 현저히 높다.
• 오픈 보카빌리티를 갖춘 LambdaNet은 사용자 정의 타입 예측에서 TypeScript 컴파일러 및 SimilarName과 같은 베이스라인을 상회한다(상위-1 및 상위-5 지표에서).
• 맥락 및 논리적 엣지 모두가 결정적이며, 더 긴 메시지 전달(K가 최대 6일 때) 정확도가 향상된다.
• 어텐션 기반 집계와 NPairs 어텐션은 성능을 크게 끌어올리며 특히 사용자 정의 타입에 대해 효과적이다.
• LambdaNet은 상위 수준 함수 주석의 부분 집합에서 JSNice보다 우수하다.