[論文レビュー] Semantic-Preserving Adversarial Code Comprehension

Yiyang Li, Hongqiu Wu+1 more|arXiv (Cornell University)|Sep 12, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、コードの意味的整合性と文法的正しさを保ちながら、連続的な埋め込み空間内で最悪の悪意ある摂動を生成することで、事前学習済み言語モデル（PrLMs）のコード理解性能を向上させる、新たな手法である意味保持型悪意摂動埋め込み（SPACE）を提案する。SPACEは、モデルの性能と耐性の両方を向上させ、CodeBERT や GraphCodeBERT といった強力なベースラインを複数のベンチマークで上回り、最先端の攻撃に対して10%以上の悪意摂動成功率の低下を達成する。

ABSTRACT

Based on the tremendous success of pre-trained language models (PrLMs) for source code comprehension tasks, current literature studies either ways to further improve the performance (generalization) of PrLMs, or their robustness against adversarial attacks. However, they have to compromise on the trade-off between the two aspects and none of them consider improving both sides in an effective and practical way. To fill this gap, we propose Semantic-Preserving Adversarial Code Embeddings (SPACE) to find the worst-case semantic-preserving attacks while forcing the model to predict the correct labels under these worst cases. Experiments and analysis demonstrate that SPACE can stay robust against state-of-the-art attacks while boosting the performance of PrLMs for code.

研究の動機と目的

• 事前学習済み言語モデル（PrLMs）のソースコード理解における性能と耐性のトレードオフを解消すること。
• コードの文脈的埋め込み空間における悪意訓練の可能性と有効性を検討すること。
• 悪意訓練中に意味的整合性と文法的正しさを維持する実用的で微分可能な手法を開発すること。
• コード理解タスクにおけるPrLMの一般化性能と耐性を同時に向上させること。

提案手法

• SPACEは、離散的トークンを直接変更するのではなく、コードトークンの連続的埋め込み空間において最悪の悪意摂動を生成する。
• この手法は、意味的整合性と文法的正しさを保ちつつ、最も有害な摂動を特定する勾配ベース最適化を用いる。
• 摂動は識別子の埋め込みにのみ影響を及えるように制約され、キーワードや構造的トークンは変更されないため、文法的整合性が保たれる。
• このアプローチは自然に微分可能であり、最小限のコード変更で標準的な勾配ベースの学習フレームワークにスムーズに統合可能である。
• 悪意訓練と、プログラミング言語の分野固有の特徴（意味的整合性、文法的妥当性）を組み合わせる。
• 勾配ベースとランダム摂動の両方のベースラインを用いて評価し、耐性と性能の両面で優位性を示した。

実験結果

リサーチクエスチョン

• RQ1 連続的埋め込み空間における悪意訓練は、意味的整合性を損なわず、性能と耐性の両方を向上させることができるか？
• RQ2 離散的トークンを変更する標準的な悪意訓練と比較して、意味保持型悪意訓練はどのように異なるか？
• RQ3 埋め込み空間の摂動は、効果的な悪意例として機能しつつ、文法的正しさと意味的整合性をどの程度維持できるか？
• RQ4 本手法は、CodeBERT や GraphCodeBERT といった強力なベースラインを、クリーンな状態と悪意のある状態の両方で上回るか？
• RQ5 識別子のリネームや制御構造の変更といった実世界の意味保持型コード変換に対して、モデルはどの程度耐性を示すか？

主な発見

• SPACEは、CodeSearchNet では平均2.65%、CodeXGLUE では平均2.62%の精度向上を達成し、CodeBERT および GraphCodeBERT の性能を複数のコード理解タスクで顕著に向上させた。
• CodeQA データセットでは、すべてのテスト攻撃手法に対して GraphCodeBERT の悪意摂動成功率（ASR）を10%以上低下させ、優れた耐性を示した。
• ベースラインモデルと比較して、CodeBERT と GraphCodeBERT に対して、意味保持型コード変換による性能低下をそれぞれ平均3.6%および4.5%低減した。
• すべてのトークンに対して標準的な悪意訓練を適用した場合、耐性向上の効果は限定的（0.5%未満）であり、意味的・文法的整合性が損なわれていることが示唆された。
• 勾配ベースの摂動はランダム摂動よりも一貫して効果的であり、意味保持制約を組み合わせることで耐性がさらに向上した。
• 本手法は実用的で効率的であり、微分可能であるため、既存の学習パイプラインに数行のコード追加で容易に統合可能である。