[論文レビュー] OptTyper: Probabilistic Type Inference by Optimising Logical and Natural Constraints

Irene Vlassi Pandi, Earl T. Barr+2 more|arXiv (Cornell University)|Apr 1, 2020

Software Engineering Research参考文献 51被引用数 9

ひとこと要約

OptTyperは、静的型分析からの論理的制約（論理的制約）と、名前付け慣習などのコードパターンからの深層学習による自然的制約（自然的制約）を統合することで、動的言語における確率的型推論の原理的フレームワークを提案する。論理的制約を微分可能な形に緩和することで、型安全性を満たしつつ学習されたパターンを活用し、TypeScriptにおいて76%のTop-1精度を達成。これは先行研究より4%高い。

ABSTRACT

We present a new approach to the type inference problem for dynamic languages. Our goal is to combine \emph{logical} constraints, that is, deterministic information from a type system, with \emph{natural} constraints, that is, uncertain statistical information about types learnt from sources like identifier names. To this end, we introduce a framework for probabilistic type inference that combines logic and learning: logical constraints on the types are extracted from the program, and deep learning is applied to predict types from surface-level code properties that are statistically associated. The foremost insight of our method is to constrain the predictions from the learning procedure to respect the logical constraints, which we achieve by relaxing the logical inference problem of type prediction into a continuous optimisation problem. We build a tool called OptTyper to predict missing types for TypeScript files. OptTyper combines a continuous interpretation of logical constraints derived by classical static analysis of TypeScript code, with natural constraints obtained from a deep learning model, which learns naming conventions for types from a large codebase. By evaluating OptTyper, we show that the combination of logical and natural constraints yields a large improvement in performance over either kind of information individually and achieves a 4% improvement over the state-of-the-art.

研究の動機と目的

• TypeScriptのような動的型付け言語における高いアノテーション負荷を軽減し、手動型注釈への依存を減らすこと。
• コードの不確実な統計的パターン（例：名前付け慣習）と決定的論理的制約を統合することで、確率的型推論を改善すること。
• 予測された型が言語レベルの型安全性ルールを尊重することを保証すること。これは、先行手法がしばしば違反する問題である。
• 論理的制約と自然的制約を統合した最適化フレームワークを構築し、制約の満たしを保証すること。
• 多様な学習モデルや既存の型推論エンジンを統合可能なスケーラブルかつ拡張可能なシステムを構築すること。

提案手法

• 静的解析からの硬い論理的制約（論理的制約）を微分可能なペナルティ項に緩和することで、型推論を連続最適化問題として定式化する。
• 深層学習モデルを用いて、識別子名や語彙的文脈などの表面的コード特徴に基づき、型の確率を予測する。
• 深層学習モデルの出力（自然的制約）と緩和された論理的制約を、統一された目的関数に統合する。
• 数値ソルバーを用いて連合目的関数を最適化し、すべての予測が元の型システムの制約を満たすことを保証する。
• 自然的制約に任意のニューラルモデルをサポートし、論理的制約に任意の標準型推論エンジンを統合可能とする。
• フレームワークをTypeScriptファイルの欠落型予測に使用できるツール「OptTyper」として統合する。

実験結果

リサーチクエスチョン

• RQ1 論理的型制約を連続最適化フレームワークに効果的に緩和することで、確率的型予測をガイドできるか？
• RQ2 論理的制約と自然的制約を一度の最適化ステップで統合することで、単独で使用する場合よりも型推論精度が向上するか？
• RQ3 予測が不確実であっても、予測された型が元の型システムルールを満たすことを保証できるか？
• RQ4 統合手法の性能は、LambdaNet や DeepTyper といった最先端ツールと比較してどの程度優れているか？
• RQ5 論理的制約のもとで、自然言語パターン（例：名前付け慣習）が型推論の向上にどの程度寄与するか？

主な発見

• OptTyperは、標準的なTypeScript型推論ベンチマークで76%のTop-1精度を達成し、これは先行研究の4%上回る。
• アブレーションスタディにより、性能向上は単に一方の要因によるものではなく、論理的制約と自然的制約の原理的統合によるものであると確認された。
• 本手法は、すべての予測型が元の型システム制約を満たすことを保証する。これは、LambdaNet とは異なり、実際には制約違反を起こすことがある。
• フレームワークは拡張可能であり、自然的制約に任意の深層学習モデル、論理的制約に任意の標準型推論エンジンを統合可能である。
• 2段階のフィルタリングプロセスを回避するため、TypeWriter よりも効率的に動作する。OptTyperは予測段階で制約を強制する。
• 論理的制約の連続的緩和により、エンドツーエンドの微分可能で安定した最適化が可能となり、離散的フィルタリング手法とは異なり、安定性が向上する。