[論文レビュー] deGraphCS: Embedding Variable-based Flow Graph for Neural Code Search

Chen Zeng, Yue Yu+7 more|arXiv (Cornell University)|Mar 24, 2021

Software Engineering Research被引用数 15

ひとこと要約

deGraphCS は、LLVM 中間言語（IR）から導出された変数ベースのフローグラフ表現を提案し、データフローおよび制御フローを通じて深い意味的依存関係を捉えることで、ニューラルコード検索の性能を向上させる。冗長性を除去するグラフ最適化と、アテンションを組み込んだゲート付きグラフニューラルネットワークを採用することで、deGraphCS は最先端の性能を達成し、大規模なC言語データセットにおいてトップ1ヒット率を 34.05% から 43.05% まで向上させた。

ABSTRACT

With the rapid increase in the amount of public code repositories, developers maintain a great desire to retrieve precise code snippets by using natural language. Despite existing deep learning based approaches(e.g., DeepCS and MMAN) have provided the end-to-end solutions (i.e., accepts natural language as queries and shows related code fragments retrieved directly from code corpus), the accuracy of code search in the large-scale repositories is still limited by the code representation (e.g., AST) and modeling (e.g., directly fusing the features in the attention stage). In this paper, we propose a novel learnable deep Graph for Code Search (calleddeGraphCS), to transfer source code into variable-based flow graphs based on the intermediate representation technique, which can model code semantics more precisely compared to process the code as text directly or use the syntactic tree representation. Furthermore, we propose a well-designed graph optimization mechanism to refine the code representation, and apply an improved gated graph neural network to model variable-based flow graphs. To evaluate the effectiveness of deGraphCS, we collect a large-scale dataset from GitHub containing 41,152 code snippets written in C language, and reproduce several typical deep code search methods for comparison. Besides, we design a qualitative user study to verify the practical value of our approach. The experimental results have shown that deGraphCS can achieve state-of-the-art performances, and accurately retrieve code snippets satisfying the needs of the users.

研究の動機と目的

• AST や単純なテキストのような文法的構造に依存する従来のコード検索手法には、コード内の深い意味的関係を捉えられないという限界があるため、それを是正すること。
• 変数レベルでのデータフローと制御フローをモデル化することで、自然言語クエリとより細かく意味的に整合するコード表現を向上させること。
• コードの意味的同等性を損なわずに冗長な情報を除去するグラフ最適化メカニズムを設計し、モデルの効率性と正確性を向上させること。
• トークン、変数レベルのデータフロー、制御フローといった複数の意味的特徴を統合的に扱える、学習可能なグラフ表現に統合し、コードとクエリの同時埋め込みを実現すること。
• 現実のコード検索シナリオにおける有効性を、自動ベンチマークと定性的なユーザースタディーを通じて評価すること。

提案手法

• LLVM IR から変数ベースのフローグラフを構築し、ノードをコードトークン、エッジを変数間のデータ依存性および制御依存性として定義する。
• 冗長なノードおよびエッジを削除するグラフ最適化メカニズムを適用し、意味的同等性を保持しながら学習効率を向上させる。
• 最適化されたフローグラフから高次元で意味的に豊かな埋め込みを学習できる、アテンション機構を組み込んだ改良型ゲート付きグラフニューラルネットワーク（GGNN）を採用する。
• 統一されたディープラーニングフレームワークを用いて、自然言語クエリとコードスニペットを同じベクトル空間に同時に埋め込み、類似度に基づく検索を実現する。
• 中間表現（IR）を活用することで、コードとクエリの表現粒度を一貫させ、トークンレベルやステートメントレベルのモデルよりも優れた意味的整合性を実現する。
• 対照学習の目的関数を用いて、マッチングするクエリ-コードペア間の意味的類似度を最大化するように、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 LLVM IR から導出された変数レベルのフローグラフ表現は、従来のASTベースやトークンベースのモデルと比較して、コード検索性能を向上させることができるか？
• RQ2 提案されたグラフ最適化メカニズムは、コードの意味的同等性を損なわずにノイズを効果的に低減し、モデルの効率性を向上させることができるか？
• RQ3 統一されたグラフモデルを用いて、トークン、データフロー、制御フローといった複数の意味的特徴を統合することで、コード検索の正確性がどの程度向上するか？
• RQ4 DeepCS や UNIF、MMAN といった最先端のベースラインと比較して、deGraphCS は現実のコード検索シナリオにおいてどの程度の性能を示すか？
• RQ5 提案手法は、コード検索以外のプログラミング言語やソフトウェア工学タスク（例：コード翻訳、API推薦）へも一般化可能か？

主な発見

• deGraphCS は大規模なC言語データセットにおいて、トップ1ヒット率が 43.05% を達成し、以前の最先端手法（34.05%）と比較して顕著な向上を示した。
• 自動評価および手動によるユーザースタディーの両方において、deGraphCS は DeepCS、UNIF、MMAN を上回り、現実の検索シナリオにおける優れた検索正確性を示した。
• グラフ最適化メカニズムにより、フローグラフ内の冗長情報が効果的に削減され、学習速度の向上とモデルの一般化性能の向上が達成された。
• アテンションを組み込んだゲート付きグラフニューラルネットワークは、変数ベースのフローグラフにおける重要な意味的依存関係を的確に捉えることに成功し、正確なコード表現を可能にした。
• ユーザースタディーの結果、deGraphCS は競合手法よりも関連性の高いコードスニペットをより多く検索することができ、実際の開発ワークフローにおける実用的価値が裏付けられた。
• 本モデルは強力な一般化可能性を示しており、今後の研究では Python や Java への拡張、およびコード翻訳や API 推奨などのその他のソフトウェア工学タスクへの応用が計画されている。