[논문 리뷰] DLTPy: Deep Learning Type Inference of Python Function Signatures using Natural Language Context

Casper Boone, Niels de Bruin외 2명|arXiv (Cornell University)|2019. 12. 02.

Software Engineering Research참고 문헌 18인용 수 9

한 줄 요약

DLTPy는 함수 이름, 주석, 매개변수 이름 및 반환 표현식에서 자연어적 맥락을 활용하여 파이썬 함수의 타입 서명을 추론하는 딥러닝 모델이다. 최상위 3개의 예측에서 F1 스코어가 91.6%에 도달하여, 코드 요소 내 자연어가 타입 예측 정확도를 크게 향상시킨다는 것을 입증한다. 특히 반환 표현식과 주석이 성능 향상에 기여한다.

ABSTRACT

Due to the rise of machine learning, Python is an increasingly popular programming language. Python, however, is dynamically typed. Dynamic typing has shown to have drawbacks when a project grows, while at the same time it improves developer productivity. To have the benefits of static typing, combined with high developer productivity, types need to be inferred. In this paper, we present DLTPy: a deep learning type inference solution for the prediction of types in function signatures based on the natural language context (identifier names, comments and return expressions) of a function. We found that DLTPy is effective and has a top-3 F1-score of 91.6%. This means that in most of the cases the correct type is within the top-3 predictions. We conclude that natural language contained in comments and return expressions are beneficial to predicting types more accurately. DLTPy does not significantly outperform or underperform the previous work NL2Type for Javascript, but does show that similar prediction is possible for Python.

연구 동기 및 목표

• 수동 타입 주석의 부담을 줄이기 위한 파이썬 기반 딥러닝 기반 타입 추론 시스템을 개발하는 것.
• 함수 주석, 식별자, 반환 표현식 내 자연어가 타입 예측 정확도에 영향을 미치는지 조사하는 것.
• 파이썬에서 타입 추론에 적합한 다양한 딥러닝 아키텍처와 입력 특징 조합의 효과를 평가하는 것.
• 자바스크립트에 대한 NL2Type 접근 방식이 파이썬으로 일반화될 수 있는지 확인하는 것.

제안 방법

• DLTPy는 함수 서명, 주석, 반환 표현식에서 온 자연어 특징을 처리하기 위해 양방향 Long Short-Term Memory(LSTM) 네트워크를 사용한다.
• 입력 특징으로는 토큰화된 식별자(함수 이름, 매개변수 이름), 주석, 반환 표현식 토큰이 포함되며, 각각 고밀도 벡터 표현으로 임베딩된다.
• 모델은 GitHub와 Libraries.io의 5,996개 오픈소스 파이썬 프로젝트에서 훈련되었으며, mypy 타입 주석이 있는 함수에 집중한다.
• 다양한 입력 조합(예: 주석 유무, 반환 표현식 포함 여부 등)을 사용한 모델의 다양한 변형을 평가하여 특징의 유용성을 분석한다.
• 단어 임베딩은 훈련 데이터에서 학습되며, 14차원의 벡터 공간을 사용한다. 이는 NL2Type의 100차원 임베딩과 다름을 이룬다.
• 모델 성능은 보류된 테스트 세트에서 최상위 1개 및 최상위 3개의 정밀도, 재현율, F1 스코어를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 주석과 반환 표현식에서 온 자연어 맥락이 파이썬의 딥러닝 기반 타입 추론을 향상시킬 수 있는가?
• RQ2 함수 이름, 매개변수 이름, 주석, 반환 표현식과 같은 다양한 입력 구성 요소가 타입 예측 성능에 어떤 영향을 미치는가?
• RQ3 자바스크립트에 대한 NL2Type 접근 방식이 파이썬으로 일반화되어 유사한 성능을 낼 수 있는가?
• RQ4 반환 표현식이 이름과 주석만에 의존하는 것과 비교해 타입 예측 정확도에 어떤 영향을 미치는가?
• RQ5 다양한 딥러닝 아키텍처와 임베딩 크기가 모델의 타입 추론 능력에 어떤 영향을 미치는가?

주요 결과

• DLTPy는 최상위 3개 예측에서 F1 스코어가 91.6%에 도달하여, 91.6%의 경우에서 정확한 타입이 상위 3개 후보 내에 포함됨을 의미한다.
• 입력에 주석을 포함시키면 타입 예측 성능이 향상되며, 주석을 포함한 데이터셋 2는 주석을 제외한 데이터셋 3보다 성능이 뛰어나다.
• 반환 표현식은 모델 정확도를 크게 향상시키며, 반환 표현식 입력이 없는 모델(예: 데이터셋 4)은 그것이 포함된 모델보다 성능이 열 劣하다.
• 14차원의 더 작은 단어 임베딩을 사용함에도 불구하고 NL2Type와 유사한 성능을 보이며, 임베딩 크기보다 특징 표현 방식이 더 중요하다는 것을 시사한다.
• 양방향 LSTM을 사용하는 모델 C가 모든 변형 중에서 가장 뛰어난 성능을 보이며, 이는 이 분류 작업에 효과적임을 확인한다.
• NL2Type와의 성능 차이가 유의미하지 않으며, 반환 표현식 맥락을 추가함으로써 NL2Type 접근 방식이 파이썬으로 효과적으로 일반화됨을 시사한다.