[論文レビュー] MISIM: A Neural Code Semantics Similarity System Using the Context-Aware Semantics Structure

Fangke Ye, Shengtian Zhou+11 more|arXiv (Cornell University)|Jun 5, 2020

Topic Modeling参考文献 56被引用数 5

ひとこと要約

MISIM はニューラルコード意味的類似度システムであり、コード構文から意味的意味を抽出する文脈に配慮した意味構造（CASS）と、頑健な類似度検出を実現する学習可能な深層ニューラルネットワークスコアフレームワークを導入している。328,000件のプログラムで評価された結果、次に優れたシステムよりも8.08%高い精度（MAP@R）を達成し、意味的コード類似度分野における最先端の性能を示している。

ABSTRACT

Code semantics similarity can be used for many tasks such as code recommendation, automated software defect correction, and clone detection. Yet, the accuracy of such systems has not yet reached a level of general purpose reliability. To help address this, we present Machine Inferred Code Similarity (MISIM), a neural code semantics similarity system consisting of two core components: (i)MISIM uses a novel context-aware semantics structure, which was purpose-built to lift semantics from code syntax; (ii)MISIM uses an extensible neural code similarity scoring algorithm, which can be used for various neural network architectures with learned parameters. We compare MISIM to four state-of-the-art systems, including two additional hand-customized models, over 328K programs consisting of over 18 million lines of code. Our experiments show that MISIM has 8.08% better accuracy (using MAP@R) compared to the next best performing system.

研究の動機と目的

• 機械プログラミング分野における信頼性が高く汎用的なコード意味的類似度システムの不足を解消すること。
• AST、XFG、SPT などの既存の構造的表現の限界を克服し、より意味的に表現力が高く拡張性のある表現を設計すること。
• 多様なディープラーニングアーキテクチャに一般化できるニューラルスコアリングフレームワークを構築し、コードから意味的な類似度を学習すること。
• 正確な意味的類似度を活用して、コード推薦、クローン検出、自動バグ修正などの実用的応用を可能にすること。
• 構文パターンに依存することを減らし、構文的変化に対して頑健に機能しながらも、機能的同等性を保持すること。

提案手法

• MISIM は、文脈に配慮した意味構造（CASS）を導入し、構文的ノイズを抽象化し、制御/データフローの意味を保持することで、コード構文から意味的意味を抽出する、設定可能で言語に依存しない表現を提供する。
• CASS は、ノードプレフィックスラベル、複合文の抽象化、グローバル変数および関数の取り扱い、入出力の基数モデリングといった、複数の抽象化レベルをサポートする。
• 本システムは、3つのDNNトポロジー（bag-of-words、シーケンスベース、グラフベース）をサポートする学習可能な深層ニューラルネットワーク（DNN）スコアフレームワークを採用し、アーキテクチャ間で共有パラメータを実装する。
• DNN は、意味的同等性にラベル付けされたコードペアのデータセット上でエンドツーエンドに訓練され、類似したコードが近い埋め込みを持つよう促すコントラスト損失関数が使用される。
• CASS は拡張可能に設計されており、言語固有および言語に依存しない適合が可能で、静的および動的な意味的抽象化を両方サポートする。
• システムは、CASS表現から抽出された構造的および意味的特徴を組み合わせる学習済みスコア関数を用いて類似度を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして構文的構造から意味的意味を効果的に抽出しつつ、プログラミング言語に跨る拡張性を保つコード表現を設計できるか？
• RQ2 伝統的な表現（AST や SPT など）と比較して、文脈に配慮した意味構造（CASS）は、意味的類似度検出をどの程度向上させるか？
• RQ3 統一的かつ学習可能なニューラルスコアリングフレームワークは、異なるDNNアーキテクチャに一般化可能であり、コード類似度タスクで優れた性能を達成できるか？
• RQ4 CASSにおける抽象化の粒度は、複合文、グローバル変数、関数の入出力といった異なるコード構造で最適な性能を発揮するにはどの程度か？
• RQ5 入出力の基数情報の組み込みは、システムの機能的意味を捉える能力にどのような影響を与えるか？

主な発見

• MISIM は、328,000件のプログラムと1,800万行のコードから構成されるベンチマークにおいて、次に優れたシステムよりも8.08%高い平均平均精度（MAP@R）を達成した。
• 文脈に配慮した意味構造（CASS）は、AST や SPT といった伝統的な表現を著しく上回り、構文的ノイズを低減するとともに意味的関係を保持している。
• CASSにおける最適な抽象化レベルはコード構造によって異なる：複合文には最も粗いレベル、ノードラベルおよびグローバル変数には中程度のレベル、関数の入出力基数にはより細かいレベルが最適である。
• 入出力の基数をモデリングすることで平均性能が向上し、関数インターフェースの特徴が意味的類似度の強力な指標であることが示された。
• 学習済みDNNスコアリングフレームワークは、bag-of-words、シーケンス、グラフベースのアーキテクチャのすべてに効果的に一般化しており、頑健性と適応性を示している。
• 高い精度と拡張性を備えていることから、IDE やコード推薦、自動バグ修正などの実世界のツールへの統合の可能性が著しく高いことが示された。