[論文レビュー] Poison Attack and Defense on Deep Source Code Processing Models

Jia Li, Zhuo Li+5 more|arXiv (Cornell University)|Oct 31, 2022

Software Engineering Research被引用数 15

ひとこと要約

本稿では、コンパイル可能で人間には検出できないポーションサンプルを生成することで、深層ソースコード処理モデルにバックドアを埋め込む、CodePoisonerと呼ばれるポーション攻撃フレームワークと、統合勾配を用いてそのようなポーションサンプルを検出する防御メカニズムであるCodeDetectorを提案する。本研究では、欠陥検出、クローン検出、コード修復の各タスクにおいて、平均98.6%の高い攻撃成功率と最大100%に近い検出精度を達成した。

ABSTRACT

In the software engineering community, deep learning (DL) has recently been applied to many source code processing tasks. Due to the poor interpretability of DL models, their security vulnerabilities require scrutiny. Recently, researchers have identified an emergent security threat, namely poison attack. The attackers aim to inject insidious backdoors into models by poisoning the training data with poison samples. Poisoned models work normally with clean inputs but produce targeted erroneous results with poisoned inputs embedded with triggers. By activating backdoors, attackers can manipulate the poisoned models in security-related scenarios. To verify the vulnerability of existing deep source code processing models to the poison attack, we present a poison attack framework for source code named CodePoisoner as a strong imaginary enemy. CodePoisoner can produce compilable even human-imperceptible poison samples and attack models by poisoning the training data with poison samples. To defend against the poison attack, we further propose an effective defense approach named CodeDetector to detect poison samples in the training data. CodeDetector can be applied to many model architectures and effectively defend against multiple poison attack approaches. We apply our CodePoisoner and CodeDetector to three tasks, including defect detection, clone detection, and code repair. The results show that (1) CodePoisoner achieves a high attack success rate (max: 100%) in misleading models to targeted erroneous behaviors. It validates that existing deep source code processing models have a strong vulnerability to the poison attack. (2) CodeDetector effectively defends against multiple poison attack approaches by detecting (max: 100%) poison samples in the training data. We hope this work can help practitioners notice the poison attack and inspire the design of more advanced defense techniques.

研究の動機と目的

• ポーリッシュドトレーニングデータを介してバックドアを埋め込むことによる、深層ソースコード処理モデルの脆弱性を調査すること。
• 構文的に有効で人間が検出できないポーションサンプルを生成できる、実用的なポーション攻撃フレームワーク、CodePoisonerの開発。
• 多様なモデルアーキテクチャにわたり、トレーニングデータ内のポーションサンプルを検出できる汎用性の高い防御メカニズム、CodeDetectorの設計。
• 欠陥検出、クローン検出、コード修復といった実世界のソースコード処理タスクにおいて、攻撃および防御フレームワークの評価。
• ポーリッシュドトレーニングデータのセキュリティリスクについてソフトウェア工学コミュニティへの啓発を促し、堅牢な防御技術の開発を促進すること。

提案手法

• CodePoisonerは、ルールベースおよび言語モデルガイドド戦略を用いてポーションサンプルを生成し、構文的に有効で意味的に自然なトリガーを埋め込む。
• フレームワークは、ポーションサンプルがコンパイル可能であり、自然なコード構造を維持することで、トレーニング中の検出を回避することを保証する。
• CodeDetectorは統合勾配アルゴリズムを用いて特徴の寄与度を計算し、ポーションサンプルを示す異常な入力パターンを特定する。
• コードトークンの重要度を評価することで、バックドア行動と相関するトレーニングデータ内の異常を検出する。
• 防御手法はアーキテクチャに依存せず、CNN、LSTM、Transformerベースのモデルすべてで有効である。
• 実験では、トレーニングデータに2%のポーションサンプルを混入させ、クリーンな入力とトリガーを埋め込んだ入力の両方でモデルの挙動を評価した。

実験結果

リサーチクエスチョン

• RQ1 構文的に有効で意味的に自然なポーションサンプルを用いて、深層ソースコード処理モデルに対して効果的なポーション攻撃を実行できるか？
• RQ2 CodePoisonerは、低いポーションコストと検出不能性を維持しつつ、高い攻撃成功率を達成できるか？
• RQ3 CodeDetectorは、多様なモデルアーキテクチャおよびポーション攻撃戦略に対して、信頼性高くポーションサンプルを検出できるか？
• RQ4 ポーション攻撃は、欠陥検出、クローン検出、コード修復といった実世界のソースコード処理タスクにどのような影響を及ぼすか？
• RQ5 実際の複数のポーション攻撃アプローチに対して、CodeDetectorはどの程度防御効果を示せるか？

主な発見

• CodePoisonerは、全評価タスクで平均98.6%の攻撃成功率を達成し、最大で100%に達しており、わずか2%のポーションコストで高い有効性を示した。
• CodePoisonerが生成するポーションサンプルはコンパイル可能で人間には検出できないため、極めてスパイクで、実際のトレーニングデータに受け入れられやすい。
• CodeDetectorは、複数の攻撃戦略およびモデルアーキテクチャにおいて最大100%の検出率を達成し、ポーションサンプルを効果的に検出できた。
• 防御機構は、ルールベースおよび言語モデルガイドドの両方のポーション戦略に対して有効であり、攻撃タイプにわたる汎用性を示した。
• 攻撃および防御フレームワークは、3つの異なるソースコード処理タスクで検証され、脅威の表面と防御の実現可能性を確認した。
• 結果から、特にオープンソースのトレーニングデータに依存する機械学習パイプラインにおいて、データ検証の重要性が顕著に浮き彫りになった。