[논문 리뷰] OptTyper: Probabilistic Type Inference by Optimising Logical and Natural Constraints

Irene Vlassi Pandi, Earl T. Barr외 2명|arXiv (Cornell University)|2020. 04. 01.

Software Engineering Research참고 문헌 51인용 수 9

한 줄 요약

OptTyper는 정적 타입 분석에서 유래한 논리적 제약 조건과 코드 패턴(예: 이름 규칙)에 기반한 딥러닝에서 유도된 자연적 제약 조건을 하나의 연속 최적화 문제로 통합함으로써 동적 언어에서의 확률적 타입 추론을 위한 원칙적인 프레임워크를 제안한다. 논리적 제약 조건을 미분 가능한 형태로 완화함으로써 예측된 타입이 타입 안전성을 만족하면서도 학습된 패턴을 활용할 수 있도록 하여, TypeScript에서 76%의 Top-1 정확도를 달성하였으며, 이는 이전 작업 대비 4% 향상된 성능이다.

ABSTRACT

We present a new approach to the type inference problem for dynamic languages. Our goal is to combine \emph{logical} constraints, that is, deterministic information from a type system, with \emph{natural} constraints, that is, uncertain statistical information about types learnt from sources like identifier names. To this end, we introduce a framework for probabilistic type inference that combines logic and learning: logical constraints on the types are extracted from the program, and deep learning is applied to predict types from surface-level code properties that are statistically associated. The foremost insight of our method is to constrain the predictions from the learning procedure to respect the logical constraints, which we achieve by relaxing the logical inference problem of type prediction into a continuous optimisation problem. We build a tool called OptTyper to predict missing types for TypeScript files. OptTyper combines a continuous interpretation of logical constraints derived by classical static analysis of TypeScript code, with natural constraints obtained from a deep learning model, which learns naming conventions for types from a large codebase. By evaluating OptTyper, we show that the combination of logical and natural constraints yields a large improvement in performance over either kind of information individually and achieves a 4% improvement over the state-of-the-art.

연구 동기 및 목표

• TypeScript와 같은 동적 타입 언어에서의 높은 타입 주석 부담을 줄이기 위해 수동 타입 주석 의존도를 감소시키기 위해.
• 코드에서 유도된 결정적 논리적 제약 조건과 불확실한 통계적 패턴을 통합함으로써 확률적 타입 추론을 향상시키기 위해.
• 예측된 타입이 언어 수준의 타입 안전성 규칙을 준수하도록 보장하기 위해, 이는 이전 방법들이 자주 위반하는 부분이다.
• 논리적 제약 조건과 자연적 제약 조건을 하나의 최적화 프레임워크로 통합하여 제약 조건 이행을 보장하기 위해.
• 다양한 학습 모델과 기존 타입 추론 엔진을 통합할 수 있는 확장 가능하고 스케일러블한 시스템을 구축하기 위해.

제안 방법

• 정적 분석에서 유도된 딱딱한 논리적 제약 조건을 연속 최적화 문제로 변환하기 위해, 이를 미분 가능한 페널티 항으로 변환한다.
• 딥러닝 모델을 사용하여 식별자 이름과 어휘적 맥락과 같은 표면 수준의 코드 특징에 기반해 타입 확률을 예측한다.
• 딥러닝 모델의 출력(자연적 제약 조건)과 완화된 논리적 제약 조건을 통합된 목적 함수에 통합한다.
• 수치적 해법을 사용해 연합 목적 함수를 최적화함으로써, 모든 예측이 원래 타입 시스템 제약 조건을 만족하도록 보장한다.
• 자연적 제약 조건에 대해 임의의 신경망 모델을 지원하고, 논리적 제약 조건에 대해 표준 타입 추론 엔진을 통합할 수 있도록 한다.
• OptTyper라는 도구에 프레임워크를 통합하여 TypeScript 파일에서 누락된 타입을 예측한다.

실험 결과

연구 질문

• RQ1 논리적 타입 제약 조건을 연속 최적화 프레임워크로 효과적으로 완화하여 확률적 타입 예측을 이끌 수 있는가?
• RQ2 단일 최적화 단계에서 논리적 제약 조건과 자연적 제약 조건을 통합하면, 각각을 별도로 사용할 때보다 타입 추론 정확도가 향상되는가?
• RQ3 예측이 불확실할 경우에도 예측된 타입이 기반 타입 시스템 규칙을 준수한다는 것을 보장할 수 있는가?
• RQ4 통합된 접근 방식의 성능은 LambdaNet과 DeepTyper와 같은 최신 기술 대비 어떻게 비교되는가?
• RQ5 논리적 제약 조건에 의해 제약을 받는 상황에서, 자연어 패턴(예: 이름 규칙)이 타입 추론 향상에 얼마나 기여하는가?

주요 결과

• OptTyper는 표준 TypeScript 타입 추론 벤치마크에서 76%의 Top-1 정확도를 달성하여 이전 최신 기술 대비 4% 향상된 성능을 보였다.
• 제거 실험을 통해 성능 향상 요인이 단지 하나의 소스가 아니라 논리적 제약 조건과 자연적 제약 조건의 원칙적인 통합 덕분임을 확인하였다.
• 이 방법은 모든 예측된 타입이 원래 타입 시스템 제약 조건을 만족함을 보장하지만, LambdaNet은 실질적으로 이를 위반하는 것으로 나타났다.
• 프레임워크는 확장 가능하며, 자연적 제약 조건에 대해 어떤 딥러닝 모델이든 통합할 수 있고, 논리적 제약 조건에 대해 어떤 표준 타입 추론 엔진이든 통합할 수 있다.
• 예측 단계에서 제약 조건을 강제 적용하기 때문에, 두 단계 필터링 프로세스를 피하는 방식으로 TypeWriter보다 효율성이 뛰어나다.
• 논리적 제약 조건의 연속적 완화는 엔드 투 엔드 미분 가능성을 보장하고 안정적인 최적화를 가능하게 하며, 이는 이산적 필터링 접근 방식과는 대조된다.