[論文レビュー] SynCoBERT: Syntax-Guided Multi-Modal Contrastive Pre-Training for Code Representation

Xin Wang, Yasheng Wang+8 more|arXiv (Cornell University)|Aug 10, 2021

Natural Language Processing Techniques参考文献 46被引用数 70

ひとこと要約

SynCoBERT は構文ガイド付きの目的 (Identifier Prediction と AST Edge Prediction) とマルチモーダル対照学習フレームワークを導入し、コード、コメント、AST からコード表現を学習。同じ事前学習コーパスとモデルサイズで、4つのコードインテリジェンスタスクで最先端の結果を達成します。

ABSTRACT

Code representation learning, which aims to encode the semantics of source code into distributed vectors, plays an important role in recent deep-learning-based models for code intelligence. Recently, many pre-trained language models for source code (e.g., CuBERT and CodeBERT) have been proposed to model the context of code and serve as a basis for downstream code intelligence tasks such as code search, code clone detection, and program translation. Current approaches typically consider the source code as a plain sequence of tokens, or inject the structure information (e.g., AST and data-flow) into the sequential model pre-training. To further explore the properties of programming languages, this paper proposes SynCoBERT, a syntax-guided multi-modal contrastive pre-training approach for better code representations. Specially, we design two novel pre-training objectives originating from the symbolic and syntactic properties of source code, i.e., Identifier Prediction (IP) and AST Edge Prediction (TEP), which are designed to predict identifiers, and edges between two nodes of AST, respectively. Meanwhile, to exploit the complementary information in semantically equivalent modalities (i.e., code, comment, AST) of the code, we propose a multi-modal contrastive learning strategy to maximize the mutual information among different modalities. Extensive experiments on four downstream tasks related to code intelligence show that SynCoBERT advances the state-of-the-art with the same pre-training corpus and model size.

研究の動機と目的

• プログラミング言語の象徴的・構文的特性を活用して、コード表現の改善を動機づける。
• コード、コメント、AST の複数モダリティを取り入れ、コードの意味論に関する補完的情報を捉える。
• 識別子予測とASTエッジ予測という2つの新規事前学習目的を設計し、識別子とASTエッジを符号化する。
• モダリティ間の相互情報を最大化するマルチモーダル対照学習機構を導入する。
• 同じ事前学習コーパスとモデルサイズを用いて、主要なコードインテリジェンスタスクで最先端の性能を示す。

提案手法

• コード、コメント、AST 表現で事前学習された12層 Transformer エンコーダーである SynCoBERT を提案する。
• NL、PL、AST にまたがるマスク化トークンを予測するマルチモーダルマスクド言語モデリング（MMLM）を使用する。
• 各コードトークンを識別子か非識別子かに分類する識別子予測（IP）を導入する。
• ASTノードペア間のエッジの存在を予測するASTエッジ予測（TEP）を導入する。
• コード、コメント、ASTモダリティ間の相互情報を最大化するマルチモーダル対照学習（MCL）目的を適用し、対になるデータ（NL-PL-AST）と対にならないデータを用い、同バッチおよびクロスバッチのネガティブサンプリングを行う。
• 全体の事前学習目的を MMLM、IP、TEP、MCL の組み合わせに、L2 正則化を加えて集約する。

実験結果

リサーチクエスチョン

• RQ1 構文ガイド付きの目的（IP および TEP）は、既存の MLM ベースの事前学習を超えるコード表現を改善できるか？
• RQ2 コード、コメント、AST のマルチモーダル情報を対照学習で活用することは、タスク全体でより一般化可能なコード表現につながるか？
• RQ3 同じ事前学習設定を用いた場合、コード検索、コードクローン検出、欠陥検出、プログラム翻訳などの多様なコードインテリジェンスタスクで SynCoBERT はどのように性能を示すか？

主な発見

• SynCoBERT は同じ事前学習コーパスとモデルサイズを用いて、複数のコードインテリジェンスタスクで最先端の結果を達成する。
• IP および TEP の目的は性能向上に寄与し、コードの象徴的・構文的特性を活用する価値を示している。
• マルチモーダル対照学習（MCL）は顕著な向上をもたらし、コード表現のためのモダリティ間相互情報の利点を強調している。
• SynCoBERT は CodeBERT や GraphCodeBERT のような強力なベースラインと比較して、自然言語のコード検索、コードクローン検出、コード欠陥検出、プログラム翻訳を改善する。
• アブレーション結果は、IP、TEP、または MCL を削除すると性能が低下し、特にコード検索における影響が顕著であることを示している。
• 学習済みの構文知識により、事前学習中に見られなかった言語（例: C#/Java翻訳）にもモデルが一般化する。