[論文レビュー] Challenging Machine Learning-based Clone Detectors via Semantic-preserving Code Transformations

Weiwei Zhang, Shengjian Guo+4 more|arXiv (Cornell University)|Nov 21, 2021

Software Engineering Research参考文献 78被引用数 4

ひとこと要約

この論文では、機械学習ベースのコピーコード検出器の堅牢性を試すために、意味を保ったコード変換を生成するフレームワーク、CloneGenを提案する。軽量な変換（例：変数名の変更、ループの再構築）に加え、ヒューリスティック探索および深層強化学習戦略を組み合わせることで、ASTNN、TBCCD、TextLSTMといった最先端の機械学習ベースの検出器から検出を回避する成功例が得られ、それらの検出器が単純なコード変更に対して脆弱であることが明らかになった。

ABSTRACT

Software clone detection identifies similar code snippets. It has been an active research topic that attracts extensive attention over the last two decades. In recent years, machine learning (ML) based detectors, especially deep learning-based ones, have demonstrated impressive capability on clone detection. It seems that this longstanding problem has already been tamed owing to the advances in ML techniques. In this work, we would like to challenge the robustness of the recent ML-based clone detectors through code semantic-preserving transformations. We first utilize fifteen simple code transformation operators combined with commonly-used heuristics (i.e., Random Search, Genetic Algorithm, and Markov Chain Monte Carlo) to perform equivalent program transformation. Furthermore, we propose a deep reinforcement learning-based sequence generation (DRLSG) strategy to effectively guide the search process of generating clones that could escape from the detection. We then evaluate the ML-based detectors with the pairs of original and generated clones. We realize our method in a framework named CloneGen. CloneGen In evaluation, we challenge the two state-of-the-art ML-based detectors and four traditional detectors with the code clones after semantic-preserving transformations via the aid of CloneGen. Surprisingly, our experiments show that, despite the notable successes achieved by existing clone detectors, the ML models inside these detectors still cannot distinguish numerous clones produced by the code transformations in CloneGen. In addition, adversarial training of ML-based clone detectors using clones generated by CloneGen can improve their robustness and accuracy. CloneGen Meanwhile, compared with the commonly-used heuristics, the DRLSG strategy has shown the best effectiveness in generating code clones to decrease the detection accuracy of the ML-based detectors.

研究の動機と目的

• 最近の機械学習ベースのコピーコード検出器が意味を保ったコード変換に対してどれほど堅牢であるかを調査すること。
• 検出器に検出されないコードコピーや生成を可能にする軽量で自動化されたフレームワークを設計・実装すること。
• ヒューリスティック探索戦略と深層強化学習が、検出器の精度を低下させる悪意のあるコピーコードを効果的に生成できるかどうかを評価すること。
• 高い報告精度を示しているにもかかわらず、現在の機械学習ベースのコピーコード検出器が、単純な意味を保ったコード変更に対して依然として脆弱であることを実証すること。
• 生成されたコピーコードを用いた悪意のある訓練により、コピーコード検出モデルの堅牢性を向上させることを提言すること。

提案手法

• 変数名の変更、ループの変換、文の順序入れ替えなどの15種類の軽量で意味を保ったコード変換オペレータを設計・実装する。
• 探索の有効な組み合わせを求めるために、ランダムサーチ、遺伝的アルゴリズム、マルコフ連鎖モンテカルロ法の3つのヒューリスティック探索戦略を統合する。
• 深層強化学習に基づくシーケンス生成（DRLSG）戦略を開発し、より効果的な悪意のあるコピーコード生成に向けて探索プロセスをガイドする。
• 元のソースコードスニペットから意味的に同等の変換済みコードコピーや生成する。
• 生成されたコピーコードを、機械学習ベース（ASTNN、TBCCD、TextLSTM）および伝統的手法（例：FCDetector）の両方のコピーコード検出器に対して評価し、検出精度の低下を測定する。
• 生成された悪意のあるコピーコードを用いた悪意のある訓練により、検出器の堅牢性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 意味を保ったコード変換は、最先端の機械学習ベースのコピーコード検出器を効果的に回避できるか？
• RQ2 ヒューリスティック探索とDRLSGの両戦略は、検出器の精度を低下させるコピーコードを生成する点で、どのように比較できるか？
• RQ3 軽量な変換を受けた後、現在の機械学習ベースのコピーコード検出器が意味的に同等のコードコピーや生成をどれほど検出できないか？
• RQ4 生成されたコピーコードを用いた悪意のある訓練により、機械学習ベースのコピーコード検出器の堅牢性と精度を向上させられるか？
• RQ5 単純ではあるが効果的なコード変換に直面した際、既存のコピーコード検出器の限界は何か？

主な発見

• 標準ベンチマークで95％を超える精度を達成しているにもかかわらず、ASTNN、TBCCD、TextLSTMといった機械学習ベースのコピーコード検出器は、意味を保った変換を施されたCloneGenによって生成されたコピーコードの多くを検出できなかった。
• DRLSG戦略は、検出を回避するコピーコードを生成する点で、従来のヒューリスティック手法を上回り、悪意のあるコードバリアントの探索を効果的にガイドできることを示した。
• 伝統的手法のコピーコード検出器も生成されたコピーコードの影響を受けてはいたが、機械学習ベースの検出器ほど深刻ではなかった。これは、コード変換に対して広範な脆弱性があることを示している。
• CloneGenが生成したコピーコードを用いた悪意のある訓練により、機械学習ベースの検出器の堅牢性と精度が向上した。これは、このようなデータ拡張がモデルの一般化能力を高められることを示唆している。
• 本研究は、現在の機械学習ベースのコピーコード検出器に深刻な堅牢性のギャップが存在することを明らかにした。これにより、意味のバリエーションを含むより強固なモデルと訓練データの必要性が強調された。
• 本研究のソースコードと実験データは https://github.com/CloneGen/CLONEGEN で公開されており、再現性とさらなる研究を可能としている。