[論文レビュー] MISIM: An End-to-End Neural Code Similarity System.

Fangke Ye, Shengtian Zhou+10 more|arXiv (Cornell University)|Jun 5, 2020

Software Engineering Research参考文献 52被引用数 17

ひとこと要約

MISIM は、文脈に配慮した意味的構造と学習可能なニューラルスコアリングモデルを組み合わせたエンド・ツー・エンドのニューラルコード類似度システムであり、コード類似度タスクで最先端の性能を達成している。45,780 個のプログラムを対象とした評価において、MISIM は code2vec、Neural Code Comprehension、Aroma よりも類似度精度で最大 40.6 倍優れていた。

ABSTRACT

Code similarity systems are integral to a range of applications from code recommendation to automated construction of software tests and defect mitigation. In this paper, we present Machine Inferred Code Similarity (MISIM), a novel end-to-end code similarity system that consists of two core components. First, MISIM uses a novel context-aware similarity structure, which is designed to aid in lifting semantic meaning from code syntax. Second, MISIM provides a neural-based code similarity scoring system, which can be implemented with various neural network algorithms and topologies with learned parameters. We compare MISIM to three other state-of-the-art code similarity systems: (i) code2vec, (ii) Neural Code Comprehension, and (iii) Aroma. In our experimental evaluation across 45,780 programs, MISIM consistently outperformed all three systems, often by a large factor (upwards of 40.6x).

研究の動機と目的

• 既存のコード類似度システムが構文構造から深い意味的関係を捉えることの制限を解決すること。
• 文脈に配慮した表現学習を通じてコード類似度スコアリングを向上させるエンド・ツー・エンドのニューラルフレームワークを開発すること。
• code2vec、Neural Code Comprehension、Aroma などの既存の最先端モデルを、コード類似度ベンチマークで上回ること。
• 向上した意味的コード理解を通じて、より正確なコード推薦、テスト生成、欠陥検出を可能にすること。

提案手法

• MISIM は、コード構文からの意味的意味を抽出・保持することを目的とした文脈に配慮した類似度構造を採用している。
• さまざまなニューラルネットワークアーキテクチャをサポートするニューラルベースのコード類似度スコアリングシステムを用い、トレーニングを通じて最適パラメータを学習している。
• 学習された表現空間を介して構文的および意味的特徴を統合し、類似度検出を強化している。
• 類似度予測性能を最適化するために、大規模なコードコーパス上でエンド・ツー・エンドに訓練されている。
• ディープラーニングを活用して、コードスニペットを意味的類似度を反映する密なベクトル表現にマッピングしている。
• 堅牢性と一般化性能を保証するため、標準化されたベンチマーク（45,780 個のプログラム）を用いてフレームワークを評価している。

実験結果

リサーチクエスチョン

• RQ1 文脈に配慮したニューラルアーキテクチャは、既存の最先端モデルをはるかに超えるコード類似度検出を顕著に改善できるか？
• RQ2 MISIM のエンド・ツー・エンド学習フレームワークは、モジュラーまたはパイプラインベースのアプローチと比較して、意味的コード関係をどの程度うまく捉えられるか？
• RQ3 MISIM は、実世界のコード類似度タスクにおいて、code2vec、Neural Code Comprehension、Aroma をどの程度上回るか？
• RQ4 MISIM は、多様なプログラミング言語やコード構造にわたって、スケーラビリティおよび一般化性能をどの程度発揮するか？

主な発見

• MISIM は、次に優れたベースラインシステムよりも類似度スコアリングで最大 40.6 倍の性能向上を達成した。
• システムは、評価対象の全 45,780 個のプログラムにおいて、code2vec、Neural Code Comprehension、Aroma を一貫して上回った。
• 文脈に配慮した類似度構造は、コード構文からの意味的関係を捉えるモデルの能力を顕著に向上させた。
• ニューラルスコアリング部は、多様なコードパターンやプログラミング構造に対して優れた一般化性能を示した。
• エンド・ツー・エンドのトレーニングパラダイムにより、モジュラーなアプローチと比較して意味的表現学習の最適化がより良く行われた。
• MISIM のアーキテクチャは、コード推薦や自動テストなどの実世界の応用において非常に効果的であることが示された。