[論文レビュー] Unveiling Code Pre-Trained Models: Investigating Syntax and Semantics Capacities

Wei Ma, Shangqing Liu+6 more|arXiv (Cornell University)|Dec 20, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿は、ASTを用いた構文固有のタスクと制御フロー、データ依存関係、制御依存関係グラフを用いた意味的タスクを通じて、CodeBERTおよびGraphCodeBERTの構文および意味的学習能力を調査する。両モデルは構文を効果的に学習しており、特に制御フローおよびデータ依存関係の意味的特徴を捉える点で、GraphCodeBERTがCodeBERTを上回っていることが明らかになった。

ABSTRACT

Past research has examined how well these models grasp code syntax, yet their understanding of code semantics still needs to be explored. We extensively analyze seven code models to investigate how code models represent code syntax and semantics. This includes four prominent code pre-trained models (CodeBERT, GraphCodeBERT, CodeT5, and UnixCoder) and three large language models (StarCoder, CodeLlama, and CodeT5+). We have developed four probing tasks to evaluate the models' abilities to learn code syntax and semantics. These tasks focus on reconstructing code syntax and semantic structures-such as AST, CFG, CDG, and DDG - within the models' representation spaces. These structures are fundamental to understanding code. Additionally, we explore the role of syntax tokens in each token representation and the extended dependencies among code tokens. Furthermore, we examine the distribution of attention weights concerning code semantic structures. Through detailed analysis, our results emphasize the strengths and weaknesses of various code models in mastering code syntax and semantics. The findings reveal that these models are proficient in grasping code syntax, effectively capturing the relationships and roles of syntax tokens. However, their ability to encode code semantics shows more variability. This study enriches our understanding of the capabilities of code models in analyzing syntax and semantics. Our findings offer valuable insights for future code model enhancements, helping optimize their application across a range of code-related tasks.

研究の動機と目的

• コード事前学習モデル（例：CodeBERTおよびGraphCodeBERT）が、プログラムの構文および意味的特徴を効果的に学習できるかどうかを調査すること。
• 高次元空間における距離ベースの手法に依存する先行研究の限界を解消すること。これらの手法は次元の呪いに苦しむ。
• 事前学習モデルにエンコードされた意味的知識の体系的分析を提供すること。特に、制御フロー、データ依存関係、制御依存関係に焦点を当てる。
• 注意ヘッドおよび層が意味的情報をどのようにエンコードしているかを検討し、モデルの解釈可能性に関する知見を提供すること。
• ASTおよび静的解析グラフを用いて、プローブタスクの外部妥当性を検証することにより、それらが真の構文および意味的特徴を正しく表現しているかを保証すること。

提案手法

• 構文プローブタスクを2つ設計：(1) AST構造を用いた構文ノードペア予測、(2) 文法規則のエンコードを評価するためのトークン構文タグ予測。
• 意味的プローブタスク用に、制御フローグラフ（CFG）、データ依存関係グラフ（DDG）、制御依存関係グラフ（CDG）を構築する。
• 意味的プローブタスクを3つ開発：(1) 意味的関係予測、(2) 意味的伝搬予測（inGraph）、(3) 型推論。
• CodeBERTおよびGraphCodeBERTの文脈的表現に線形分類器を訓練し、構文および意味的事実の回復能力を評価する。
• 層ごとの挙動の一貫性を分析するために、スピアマン順位相関（ρ）を用いる。
• ヘッドおよび層ごとの注意重みの統計的分析を実施し、意味的情報エンコードにおけるその役割を同定する。

実験結果

リサーチクエスチョン

• RQ1 CodeBERTやGraphCodeBERTといったコード事前学習モデルは、プログラムの構文を効果的に学習できるか。また、異なる構文構造において、その性能はどのように比較されるか。
• RQ2 CodeBERTおよびGraphCodeBERTは、制御フロー、データ依存関係、制御依存関係といったプログラムの意味的特徴をどの程度学習できるか。
• RQ3 注意ヘッドおよび層は、これらのモデルにおける意味的知識のエンコードにどのように異なる役割を果たしているか。
• RQ4 プローブタスクは、真のプログラム構文および意味的特徴を正しく表現している外部妥当性を有しているか。また、高次元距離に基づく評価手法の欠陥を回避しているか。
• RQ5 CodeBERTおよびGraphCodeBERTの層ごとの表現は、構文および意味的事実の捉え方において、どの程度一貫性を示しているか。

主な発見

• CodeBERTおよびGraphCodeBERTの両モデルは、構文ノードペア予測およびトークンタグ予測タスクで高い性能を示しており、プログラム構文の学習能力が顕著に高いことが裏付けられた。
• 制御フローグラフ（CFG）およびデータ依存関係グラフ（DDG）のプローブタスクにおいて、GraphCodeBERTがCodeBERTを上回る優れた性能を示しており、制御フローおよびデータ依存関係の意味的特徴をより効果的に捉えていることが示された。
• 両モデルとも制御依存関係情報の学習において類似した能力を示しており、CDGに基づくプローブタスクで顕著な性能差は認められなかった。
• 両モデルの最終層表現には豊富な意味的情報が含まれており、異なる注意ヘッドおよび層がさまざまな意味的事実のエンコードに異なる役割を果たしていることが明らかになった。
• 注意重みの統計的分析から、特定のヘッドおよび層が異なる意味的タイプに特化していることが判明し、意味的理解に多様な注意メカニズムが関与していることが示された。
• プローブタスクは外部妥当性を有しており、ASTおよび静的解析グラフに基づいているため、高次元距離に基づく評価手法の欠陥を回避していることが確認された。