[논문 리뷰] HiTyper: A Hybrid Static Type Inference Framework with Neural Prediction.

Yün Peng, Zongjie Li외 4명|arXiv (Cornell University)|2021. 05. 08.

Software Engineering Research참고 문헌 30인용 수 4

한 줄 요약

HiTyper는 정적 타입 추론과 신경망 모델을 융합한 하이브리드 정적 및 딥러닝 기반 타입 추론 프레임워크로, 동적 언어에서 타입 예측 정확도를 향상시킨다. 타입 흐름 분석을 위해 타입 그래프를 구축하고, 정적 제약 조건을 사용해 타입을 추론하며, 최신 기술의 딥러닝 모델에서 유도된 예측을 보정하기 위한 타입 보정 알고리즘을 적용함으로써, 상위-1 F1 점수에서 12.7% 향상 및 잘못된 후보 타입의 50.6%를 필터링하는 데 성공한다.

ABSTRACT

Type inference for dynamic programming languages is an important yet challenging task. By leveraging the natural language information of existing human annotations, deep neural networks outperform other traditional techniques and become the state-of-the-art (SOTA) in this task. However, they are facing some new challenges, such as fixed type set, type drift, type correctness, and composite type prediction. To mitigate the challenges, in this paper, we propose a hybrid type inference framework named HiTyper, which integrates static inference into deep learning (DL) models for more accurate type prediction. Specifically, HiTyper creates a new syntax graph for each program, called type graph, illustrating the type flow among all variables in the program. Based on the type graph, HiTyper statically infers the types of the variables with appropriate static constraints. HiTyper then adopts a SOTA DL model to predict the types of other variables that cannot be inferred statically, during which process a type correction algorithm is employed to validate and correct the types recommended by the DL model. Extensive experiments show that HiTyper outperforms the SOTA DL approach by 12.7% in terms of top-1 F1-score. Moreover, HiTyper filters out 50.6% of incorrect candidate types recommended by the SOTA DL model, indicating that HiTyper could improve the correctness of predicted types. Case studies also demonstrate the capability of HiTyper in alleviating the fixed type set issue, and in handling type drift and complicated types such as composite data types.

연구 동기 및 목표

• 최신 기술의 딥러닝 모델이 겪는 한정된 타입 집합, 타입 이탈, 복합 타입 예측 등의 문제를 해결한다.
• 정적 타입 추론과 신경망 모델을 융합하여 타입 예측의 정확성과 강건성을 향상시킨다.
• 동적 언어의 타입 추론에서 타입 이탈 및 잘못된 후보 타입 문제를 완화한다.
• 순수 신경망 모델이 어려워하는 복잡한 복합 타입을 정확하게 예측할 수 있도록 한다.

제안 방법

• 프로그램별로 타입 그래프를 구축하여 변수 간 타입 흐름을 모델링하고, 종속성과 데이터 흐름을 포착한다.
• 학습 없이도 추론 가능한 변수의 타입을 결정하기 위해 적절한 제약 조건을 적용한 정적 추론을 수행한다.
• 정적 분석으로 추론할 수 없는 변수의 타입을 예측하기 위해 최신 기술의 딥러닝 모델을 활용한다.
• 정적 제약 조건과 타입 일관성 검사를 사용하여 신경망 모델의 예측을 검증하고 보정하기 위한 타입 보정 알고리즘을 도입한다.
• 정적 추론과 학습된 예측을 하이브리드 프레임워크로 통합하여 전체 정확도와 정확성을 향상시킨다.
• 정적 추론과 신경망 예측을 모두 지지하는 구조적 뼈대로서의 타입 그래프를 사용하여 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 정적 타입 추론과 딥러닝을 융합하면 동적 언어에서 타입 예측 정확도가 향상되는가?
• RQ2 이러한 하이브리드 접근 방식은 딥러닝 모델이 제안하는 잘못된 후보 타입을 어느 정도 줄일 수 있는가?
• RQ3 이 프레임워크는 복합 데이터 타입과 복잡한 타입 구조를 얼마나 효과적으로 처리하는가?
• RQ4 이 프레임워크는 신경망 기반 타입 추론 모델에서 흔히 발생하는 고정된 타입 집합 문제를 완화하는가?
• RQ5 타입 보정 알고리즘이 순수 딥러닝 접근 방식에 비해 예측 타입의 정확성을 크게 향상시키는가?

주요 결과

• HiTyper는 최신 기술의 딥러닝 모델에 비해 상위-1 F1 점수를 12.7% 향상시켰다.
• 프레임워크는 최신 기술의 딥러닝 모델이 제안한 잘못된 후보 타입의 50.6%를 필터링하여 예측 정확도를 크게 향상시켰다.
• 정적 제약 조건을 통해 유효 타입의 동적 확장을 허용함으로써 고정된 타입 집합 문제를 효과적으로 완화했다.
• 정적 일관성 규칙에 기반한 예측 검증을 통해 타입 이탈 문제를 개선함을 입증했다.
• 사례 연구를 통해 순수 신경망 모델이 어려워하는 복잡한 복합 타입을 정확하게 예측할 수 있음을 확인했다.
• 정적 추론과 딥러닝의 융합은 다양한 프로그램 구조에서 더 신뢰성 있고 일관성 있는 타입 예측을 이끌어냈다.