[論文レビュー] Contrastive Learning for Source Code with Structural and Functional Properties

Yangruibo Ding, Luca Buratti+4 more|arXiv (Cornell University)|Sep 29, 2021

Software Engineering Research参考文献 31被引用数 8

ひとこと要約

BOOST は、構造的および機能的特性を活用してコード理解を向上させる自己教師付き対照的学習モデルである。関数的に同等だが構造的に異なるコードと、関数的に異なるが文法的に類似したコードを生成することで、対照的学習と新しいノードタイプマスク言語モデル化目的関数を用いて堅牢な表現を学習し、顕著に少ない事前学習データで最先端の性能を達成する。

ABSTRACT

Pre-trained transformer models have recently shown promises for understanding the source code. Most existing works expect to understand code from the textual features and limited structural knowledge of code. However, the program functionalities sometimes cannot be fully revealed by the code sequence, even with structure information. Programs can contain very different tokens and structures while sharing the same functionality, but changing only one or a few code tokens can introduce unexpected or malicious program behaviors while preserving the syntax and most tokens. In this work, we present BOOST, a novel self-supervised model to focus pre-training based on the characteristics of source code. We first employ automated, structure-guided code transformation algorithms that generate (i.) functionally equivalent code that looks drastically different from the original one, and (ii.) textually and syntactically very similar code that is functionally distinct from the original. We train our model in a way that brings the functionally equivalent code closer and distinct code further through a contrastive learning objective. To encode the structure information, we introduce a new node-type masked language model objective that helps the model learn about structural context. We pre-train BOOST with a much smaller dataset than the state-of-the-art models, but our small models can still match or outperform these large models in code understanding and generation tasks.

研究の動機と目的

• 既存のコードモデルがテキスト的および文法的特徴に大きく依存するという制限に対処すること。これにより、機能的意味論が見過ごされがちである。
• 自動コード変換を用いて機能的同等性と文法的類似性を組み込むことで、コード表現学習を向上させること。
• よりデータ効率の良い自己教師付き学習アプローチを導入することで、大規模な事前学習データセットへの依存を低減すること。
• 新しいノードタイプマスク言語モデル化目的関数を用いて、コードモデルにおける構造的認識を強化すること。

提案手法

• 自動的で構造をガイドするコード変換アルゴリズムにより、2種類の拡張サンプルが生成される：関数的に同等だが構造的に異なるコード、および文法的に類似しているが関数的に異なるコード。
• 対照的学習目的関数が、関数的に同等のコードペアの表現を近づけ、関数的に異なるが類似したコードペアの表現を遠ざけるように適用される。
• ノードタイプマスク言語モデル化目的関数が導入され、AST内の特定のノードタイプをマスクすることで、モデルの構造的文脈理解を向上させる。
• モデルは、同等のコードバリアント間の意味的整合性を促進するとともに、悪意のあるまたは意図しない振る舞いの差を保持する対照的損失を用いて事前学習される。
• このアプローチはデータ効率に優れており、最先端のモデルと比較して、より小さな事前学習データセットでも強力な性能を発揮できる。
• 最終的なモデルは、下流のコード理解および生成タスクで微調整され、少ない事前学習データでも優れたまたは競争力のある性能を示す。

実験結果

リサーチクエスチョン

• RQ1 機能的同等性と文法的類似性を明示的にモデル化することで、自己教師付き対照的学習がコード表現を向上させ得るか？
• RQ2 ノードタイプマスク言語モデル化目的関数は、コードモデルにおける構造的認識をどの程度向上させるか？
• RQ3 より小さな事前学習データセットで、既存の大きなモデルと同等またはそれ以上の性能を達成できるか、その程度はどの程度か？
• RQ4 自動コード変換技術は、コード表現の対照的学習における意味的なポジティブおよびネガティブサンプルを効果的に生成できるか？
• RQ5 機能的および構造的特性を組み合わせることで、より堅牢で汎用性の高いコード表現が得られるか？

主な発見

• BOOST は、既存のモデルと比較して顕著に少ないデータで事前学習されているにもかかわらず、コード理解および生成タスクで最先端の性能を達成している。
• モデルは、複数のコード関連ベンチマークで、より大きな最先端モデルを上回る性能を示しており、そのデータ効率の良い学習アプローチの有効性が裏付けられている。
• ノードタイプマスク言語モデル化目的関数の統合により、モデルのコード表現における構造的文脈の捉え込み能力が向上している。
• 関数的に同等および関数的に異なるコードペアを用いた対照的学習により、より堅牢で意味的に明確な表現が得られている。
• 自動コード変換パイプラインは、対照的学習を強化する高品質なポジティブおよびネガティブサンプルを効果的に生成した。
• BOOST の性能は、はるかに大きなデータセットで事前学習されたモデルと比較しても、競争力があるか、あるいはそれを上回っており、そのデータ効率の高さが顕著に示されている。