[論文レビュー] Boosting Source Code Learning with Text-Oriented Data Augmentation: An Empirical Study

Zeming Dong, Qiang Hu+6 more|arXiv (Cornell University)|Mar 13, 2023

Software Engineering Research被引用数 6

ひとこと要約

本論文は、自然言語処理（NLP）およびグラフ学習で開発されたテキストおよびグラフベースのデータ拡張技術が、深層ニューラルネットワーク（DNN）を用いたソースコード学習の効果性を調査している。線形補間手法（SenMixup や Manifold-Mixup）が、従来のコードリファクタリングを上回り、最大で8.74%の精度向上と耐性向上を達成しており、特にデータが少ない状況下で顕著な効果を示していることが判明した。

ABSTRACT

Recent studies have demonstrated remarkable advancements in source code learning, which applies deep neural networks (DNNs) to tackle various software engineering tasks. Similar to other DNN-based domains, source code learning also requires massive high-quality training data to achieve the success of these applications. Data augmentation, a technique used to produce additional training data, is widely adopted in other domains (e.g. computer vision). However, the existing practice of data augmentation in source code learning is limited to simple syntax-preserved methods, such as code refactoring. In this paper, considering that source code can also be represented as text data, we take an early step to investigate the effectiveness of data augmentation methods originally designed for natural language texts in the context of source code learning. To this end, we focus on code classification tasks and conduct a comprehensive empirical study across four critical code problems and four DNN architectures to assess the effectiveness of 25 data augmentation methods. Our results reveal specific data augmentation methods that yield more accurate and robust models for source code learning. Additionally, we discover that the data augmentation methods remain beneficial even when they slightly break source code syntax.

研究の動機と目的

• ソースコード学習におけるラベル付き学習データの不足という課題に対処し、モデル性能を妨げる要因を軽減すること。
• NLPおよびグラフ学習から得られたデータ拡張手法が、ソースコード表現に効果的に適応可能かどうかを調査すること。
• 多様な拡張手法が、複数のDNNアーキテクチャおよびコードタスクにおいて精度と耐性に与える影響を評価すること。
• コード学習モデルの一般化性能および耐性を向上させるために最も効果的なデータ拡張戦略を同定すること。

提案手法

• 著者らは、NLPおよびグラフ学習分野の11種類のデータ拡張手法（mixupの変種やトークンレベルの変換を含む）を調査・分類している。
• これらの手法をコード埋め込みおよびAST表現に適用することで、意味的整合性を保ちつつ制御された変異を導入する形で、ソースコードに適応させている。
• 本研究では、4つの重要なコードタスク（クローン検出、脆弱性検出、バグ検出、問題分類）に対して大規模な実験的評価を実施している。
• 精度の一般化を評価するため、事前学習済みモデルとカスタムアーキテクチャを含む11種類の異なるDNNアーキテクチャを用いてモデルを訓練している。
• 評価指標には、精度、敵対的攻撃に対する耐性（例：攻撃成功確率）、およびデータが少ない状況下での性能が含まれる。
• 各手法の影響を明確にするために、ベースラインのコードリファクタリングおよびアブレーションスタディを用いて拡張手法を比較している。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 既存のデータ拡張手法は、データ拡張なしで学習する場合と比較して、より高い精度のコードモデルを生成できるか？
• RQ2 RQ2: これらの手法は、敵対的入力に対してコードモデルの耐性を向上させられるか？
• RQ3 RQ3: 異なる拡張戦略は、さまざまなDNNアーキテクチャおよび下流のコードタスクにおいてどのように性能を発揮するか？
• RQ4 RQ4: 低データ学習環境下で、どの拡張手法が最も効果的か？

主な発見

• テキスト用のSenMixup やグラフ用のManifold-Mixup といった線形補間手法は、データ拡張なしのベースライン学習と比較して、最大で8.74%の精度向上を達成した。
• テキストベースの拡張手法であるランダムスワップは、攻撃成功確率を5.67%低下させ、強力な耐性向上効果を示した。
• 構文をわずかに変更する手法（例：ランダム削除、ランダムスワップ）は、事前学習済みプログラミング言語モデルにおいて特に効果的であった。
• 特徴量ベクトルの混合（例：mixup）に基づくデータ拡張は、ほとんどのDNNアーキテクチャにおいて、従来のコードリファクタリングを上回る精度と耐性を達成した。
• 拡張の有効性はモデルタイプによって異なり、mixup手法は非事前学習モデルで最も効果的であった一方、構文を破壊する手法（例：ランダムスワップ）は事前学習モデルで優れた性能を発揮した。
• 本研究は、データ拡張が、特に学習データが限られる状況下で、コード学習の向上に極めて重要な要因であることを確認した。