[論文レビュー] BadCS: A Backdoor Attack Framework for Code search

Shiyi Qi, Yuanhang Yang+3 more|arXiv (Cornell University)|May 9, 2023

Software Engineering Research被引用数 7

ひとこと要約

BadCS は、高成功率を達成しつつモデル性能を維持するため、標的付き汚染サンプル生成と再重み付け知識蒸留を組み合わせた、深層学習ベースのコード検索モデル向けの新規バックドア攻撃フレームワークである。Java データセットでは最先端の汚染攻撃を 75.98%–99.90%、Python データセットでは 83.03%–99.98% 向上させ、平均 MRR において良性モデルを 0.46%–0.49% 上回る性能を示した。

ABSTRACT

With the development of deep learning (DL), DL-based code search models have achieved state-of-the-art performance and have been widely used by developers during software development. However, the security issue, e.g., recommending vulnerable code, has not received sufficient attention, which will bring potential harm to software development. Poisoning-based backdoor attack has proven effective in attacking DL-based models by injecting poisoned samples into training datasets. However, previous work shows that the attack technique does not perform successfully on all DL-based code search models and tends to fail for Transformer-based models, especially pretrained models. Besides, the infected models generally perform worse than benign models, which makes the attack not stealthy enough and thereby hinders the adoption by developers. To tackle the two issues, we propose a novel Backdoor attack framework for Code Search models, named BadCS. BadCS mainly contains two components, including poisoned sample generation and re-weighted knowledge distillation. The poisoned sample generation component aims at providing selected poisoned samples. The re-weighted knowledge distillation component preserves the model effectiveness by knowledge distillation and further improves the attack by assigning more weights to poisoned samples. Experiments on four popular DL-based models and two benchmark datasets demonstrate that the existing code search systems are easily attacked by BadCS. For example, BadCS improves the state-of-the-art poisoning-based method by 83.03%-99.98% and 75.98%-99.90% on Python and Java datasets, respectively. Meanwhile, BadCS also achieves a relatively better performance than benign models, increasing the baseline models by 0.49% and 0.46% on average, respectively.

研究の動機と目的

• Transformer をベースとするおよび事前学習済みのコード検索モデルに対する、従来の汚染ベースのバックドア攻撃の低成功率という問題に取り組むこと。
• 感染したモデルの性能低下が、スパイシーさと開発者の採用を損なうという課題を克服すること。
• 高い攻撃成功率を達成しつつ、高いモデル有用性を維持するバックドア攻撃を設計すること。
• コード検索システムにおける既存の防御メカニズムに対する BadCS の有効性を評価すること。

提案手法

• コードスニペットと対応する自然言語クエリに特定のトレガーを埋め込むことで、標的付き汚染サンプルを生成する。
• 汚染サンプルに高い学習重みを割り当てることで、モデル効果を維持する再重み付け知識蒸留を採用する。
• 二段階のトレーニングプロセスを採用：まずサンプルを汚染し、次に再重み付け損失を用いた知識蒸留により学生モデルをファインチューニングする。
• クエリ内の特定のキーワードがトレガーを発動させ、モデルが悪意あるコードを推薦するようにするトレガー機構を適用する。
• 効果的な知識転送を実現するため、事前学習済みコードモデル（例：CodeBERT、GraphCodeBERT）を教師モデルとして活用する。
• 攻撃成功率（ASR）とモデル有用性（MRR）のバランスを最適化することで、感染モデルが競争力を持続できるようにする。

実験結果

リサーチクエスチョン

• RQ1 汚染ベースのバックドア攻撃は、最先端の Transformer をベースとするコード検索モデルを効果的に侵害できるか？
• RQ2 感染モデルの性能低下は、コード検索におけるバックドア攻撃のスパイシーさと実用性を妨げるか？
• RQ3 再重み付け知識蒸留は、攻撃効果を低下させることなく、汚染モデルの有用性を向上させられるか？
• RQ4 既存のバックドア防御手法は、コード検索シナリオにおける BadCS に対してどの程度有効か？

主な発見

• BadCS は Python データセットで 83.03%–99.98%、Java データセットで 75.98%–99.90% の範囲で、最先端の汚染攻撃を向上させた。
• 感染モデルは、良性モデルと比較して、Python で平均 MRR 0.49%、Java で 0.46% 向上させた。
• BadCS は、Python および Java データセットの両方で、100% に近い攻撃成功率（ASR）を達成し、モデル有用性への影響は最小限に抑えられた。
• Spectral Signatures や Keyword Identification といった既存の防御手法は、BadCS を検出できず、平均して防御の再現率が 30% 未満であった。
• トレガーがトークンレベルまたは文法レベルに埋め込まれても攻撃が有効であることが示され、入力レベルの防御に対して耐性があることがわかった。
• 汚染サンプルの割合が少なくても性能にほとんど影響せず、1% の汚染率でも高い ASR を維持できた。