[論文レビュー] Semantic Code Search for Smart Contracts

Chaochen Shi, Yong Xiang+2 more|arXiv (Cornell University)|Nov 28, 2021

Software Engineering Research参考文献 26被引用数 5

ひとこと要約

本稿では、スマートコントラクト向けのマルチモーダル意味的コード検索モデルMM-SCSを提案する。このモデルは、制御フローやデータフローの意味を捉えるために契約要因依存グラフ（CEDG）を統合し、コンテキストに応じたコード埋め込みにマルチヘッドアテンションを用い、クエリ符号化に微調整済みのALBERTモデルを活用する。MM-SCSは47万件の（コード, ドキュメント文字列）データセット上でMRR 0.572を達成し、最先端モデルを最大59.3%上回る性能を発揮する一方で、0.34秒/クエリという高速な推論を維持している。

ABSTRACT

Semantic code search technology allows searching for existing code snippets through natural language, which can greatly improve programming efficiency. Smart contracts, programs that run on the blockchain, have a code reuse rate of more than 90%, which means developers have a great demand for semantic code search tools. However, the existing code search models still have a semantic gap between code and query, and perform poorly on specialized queries of smart contracts. In this paper, we propose a Multi-Modal Smart contract Code Search (MM-SCS) model. Specifically, we construct a Contract Elements Dependency Graph (CEDG) for MM-SCS as an additional modality to capture the data-flow and control-flow information of the code. To make the model more focused on the key contextual information, we use a multi-head attention network to generate embeddings for code features. In addition, we use a fine-tuned pretrained model to ensure the model's effectiveness when the training data is small. We compared MM-SCS with four state-of-the-art models on a dataset with 470K (code, docstring) pairs collected from Github and Etherscan. Experimental results show that MM-SCS achieves an MRR (Mean Reciprocal Rank) of 0.572, outperforming four state-of-the-art models UNIF, DeepCS, CARLCS-CNN, and TAB-CS by 34.2%, 59.3%, 36.8%, and 14.1%, respectively. Additionally, the search speed of MM-SCS is second only to UNIF, reaching 0.34s/query.

研究の動機と目的

• 既存のコード検索モデルにおける意味的ギャップ、特にブロックチェーン固有のクエリに対して、これを解消すること。
• 制御フローおよびデータフローといった、ソリディティコード内の深い構造的依存関係を捉えることで、コード検索の正確性を向上させること。
• クエリ符号化に微調整済みの事前学習言語モデルを活用することで、データが少ない状況下でもモデル性能を向上させること。
• コード要素間の意味的関係を表現するための新規なグラフベースのモダリティ、すなわち契約要因依存グラフ（CEDG）を導入すること。
• 実世界のスマートコントラクトコード検索環境において、高い検索精度と効率的な推論速度の両立を図ること。

提案手法

• モデルは、意味的に重要な要素に注目するため、コンテキストに応じた埋め込みを生成するマルチヘッド自己アテンションネットワークを用いる。
• 制御フローおよびデータフローの依存関係をコード要素間で符号化するため、新規な契約要因依存グラフ（CEDG）を構築し、追加のモダリティとして機能させる。
• クエリエンコーダーは、限られた学習データでも意味理解を向上させるために、微調整済みのALBERTモデルを採用し、クエリ埋め込みを生成する。
• テキストトークン（T）、抽象構文木（AST）、関数呼び出しシーケンス（F）、およびCEDGといった複数のモダリティを統合し、類似度計算のための統一された表現を生成する。
• コードとクエリ間の意味的類似度は、共有ベクトル空間におけるコサイン距離によって計算され、エンドツーエンドで最適化される。
• アーキテクチャは、GitHubおよびEtherscanから収集した47万件の（コード, ドキュメント文字列）ペアから構築されたカスタムデータセット上で学習される。

実験結果

リサーチクエスチョン

• RQ1 CEDGモダリティの導入が、スマートコントラクト向け意味的コード検索性能にどのように寄与するか？
• RQ2 マルチヘッドアテンションは、モデルのキーポイントとなるコード意味の注目能力をどの程度向上させるか？
• RQ3 学習データが限られた状況下でも、微調整済みALBERTモデルがクエリ埋め込みを生成する際の有効性はいかほどか？
• RQ4 MM-SCSは、スマートコントラクトコード検索において、最先端モデルと比較して正確性と速度の両面でどの程度優れているか？
• RQ5 各モダリティ（T, A, F, AST, CEDG）が、モデル全体のパフォーマンスに果たす寄与度はどの程度か？

主な発見

• MM-SCSはMRR 0.572を達成し、UNIF（MRR 0.426）、DeepCS（0.359）、CARLCS-CNN（0.418）、TAB-CS（0.501）を著しく上回った。
• T+A+F+CEDGの全モダリティセットを用いた場合、DeepCSに比べてMRRで59.3%の向上を達成し、顕著な性能向上を示した。
• MM-SCSは1クエリあたり0.34秒の検索速度を達成しており、UNIFに次ぐ速さであり、高い精度を維持しながらも効率的な推論を実現した。
• CEDGをモダリティとして追加したことで、T+A+Fベースラインに比べMRRが4.9ポイント上昇し、意味的理解への顕著な貢献が示された。
• 事例研究では、MM-SCSは「特定のアドレスのトークンを破棄する」というクエリに対して正しく「burn」関数を検索したが、ベースラインはブロックチェーン用語の類義語を理解できないため失敗した。
• モデルの性能は、さまざまな入力モダリティに対して安定しており、すべての評価指標（SR@1, SR@5, SR@10, MRR）でベースラインを一貫して上回った。