[논문 리뷰] PYInfer: Deep Learning Semantic Type Inference for Python Variables

Siwei Cui, Gang Zhao외 4명|arXiv (Cornell University)|2021. 06. 27.

Software Engineering Research참고 문헌 36인용 수 11

한 줄 요약

PYInfer는 PySonar2에서 자동으로 생성한 대규모 데이터셋을 기반으로 훈련된 신경망을 사용하여 문맥적 코드 의미를 활용해 파이썬 변수 유형을 추론하는 딥러닝 기반 프레임워크이다. 11개 기본 유형에서 91.2%의 정확도를 기록하고, 500개의 일반 유형에서는 81.2%의 정확도를 달성하여 기존 최고 수준의 도구보다 속도(187배 빠름)와 코드 커버리지(5.2배 높음)에서 뛰어난 성능을 보였다.

ABSTRACT

Python type inference is challenging in practice. Due to its dynamic properties and extensive dependencies on third-party libraries without type annotations, the performance of traditional static analysis techniques is limited. Although semantics in source code can help manifest intended usage for variables (thus help infer types), they are usually ignored by existing tools. In this paper, we propose PYInfer, an end-to-end learning-based type inference tool that automatically generates type annotations for Python variables. The key insight is that contextual code semantics is critical in inferring the type for a variable. For each use of a variable, we collect a few tokens within its contextual scope, and design a neural network to predict its type. One challenge is that it is difficult to collect a high-quality human-labeled training dataset for this purpose. To address this issue, we apply an existing static analyzer to generate the ground truth for variables in source code. Our main contribution is a novel approach to statically infer variable types effectively and efficiently. Formulating the type inference as a classification problem, we can handle user-defined types and predict type probabilities for each variable. Our model achieves 91.2% accuracy on classifying 11 basic types in Python and 81.2% accuracy on classifying 500 most common types. Our results substantially outperform the state-of-the-art type annotators. Moreover, PYInfer achieves 5.2X more code coverage and is 187X faster than a state-of-the-art learning-based tool. With similar time consumption, our model annotates 5X more variables than a state-of-the-art static analysis tool. Our model also outperforms a learning-based function-level annotator on annotating types for variables and function arguments. All our tools and datasets are publicly available to facilitate future research in this direction.

연구 동기 및 목표

• 파이썬 변수 유형 추론을 위한 대규모 고품질의 인간 레이블이 부여된 데이터셋 부족 문제를 해결한다.
• 문맥적 코드 의미를 활용하여 동적 타이핑이 적용된 파이썬 코드에서 유형 추론의 정확도와 효율성을 향상시킨다.
• 파이썬에서 흔하지만 기존 도구에서 자주 忽略되는 사용자 정의 유형의 효과적인 추론을 가능하게 한다.
• 정적 분석 및 학습 기반 기준 대비 커버리지와 속도에서 뛰어난 성능을 보이는 확장 가능한 종단 간 학습 기반 시스템을 개발한다.
• 향후 파이썬 유형 추론 분야의 연구를 지원하기 위해 공개된 데이터셋과 도구를 제공한다.

제안 방법

• 스타 수 상위 4,577개의 GitHub 레포지터리에서 소스 코드를 수집하여 총 5490만 줄의 코드를 320,402개 파일에 분포시켰다.
• PySonar2를 정적 분석기로 활용하여 변수의 초기 유형 주석을 자동으로 생성하고, 훈련 데이터셋을 구성했다.
• 자동 생성된 주석의 품질을 향상시키기 위해 데이터 정제 기법을 적용했다.
• 변수 사용 주변의 토큰(문맥적 코드 스니펫)을 인코딩하는 딥 네트워크를 설계하여 분류를 통해 변수 유형을 예측한다.
• 유형 추론 문제를 다중 분류 문제로 재정의하여 내장형 및 사용자 정의 유형 모두를 지원한다.
• 희귀 또는 커스터마이징된 유형 이름에 대한 일반화를 향상시키기 위해 서브워드 토크나이제이션(BPE)을 활용한다.

실험 결과

연구 질문

• RQ1 기존 정적 분석 대비 문맥적 코드 의미를 활용할 경우 파이썬 변수 유형 추론의 정확도가 크게 향상되는가?
• RQ2 정적 분석기에서 자동으로 생성된 주석을 기반으로 훈련된 딥러닝 모델이 변수 유형 예측에 얼마나 효과적인가?
• RQ3 제안된 방법이 훈련 중에 볼 수 없었던 사용자 정의 유형이나 희귀 유형으로 일반화 가능한가?
• RQ4 정확도, 속도, 코드 커버리지 측면에서 PYInfer의 성능이 최고 수준의 도구와 비교해 어떻게 되는가?
• RQ5 대규모 자동으로 정제된 데이터셋이 파이썬에서 고정확도 유형 추론을 얼마나 잘 지원할 수 있는가?

주요 결과

• PYInfer는 11개 기본 파이썬 유형을 분류하는 데 91.2%의 정확도를 기록하여 기존 도구를 크게 앞서간다.
• 500개의 일반 유형을 포함한 더 복잡한 벤치마크에서 PYInfer는 81.2%의 정확도를 달성하여 다양한 유형으로의 일반화 능력이 뛰어나다는 것을 입증한다.
• 최고 수준의 학습 기반 도구보다 187배 빠른 속도를 기록하여 대규모 코드베이스에서 매우 효율적임을 입증한다.
• 기존 최고 수준의 학습 기반 도구보다 5.2배 높은 코드 커버리지를 확보하여 더 넓은 적용 가능성을 보여준다.
• 유사한 런타임 동안 PYInfer는 정점 분석 도구인 PySonar2보다 5배 더 많은 변수를 주석 처리한다.
• 변수와 함수 인자 모두에 대해 TypeWriter보다 뛰어난 유형 예측 성능을 보이며, 변수 수준의 추론에서의 우수성을 입증한다.