[論文レビュー] STRATA: Simple, Gradient-Free Attacks for Models of Code

Jacob M. Springer, Bryn Marie Reinstadler+1 more|arXiv (Cornell University)|Sep 28, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用数 5

ひとこと要約

STRATAは、トレーニングデータにおけるトークン頻度と学習済みトークン埋め込みのL2ノルムの間の強い相関を活用することで、勾配を必要としないシンプルな攻撃を、コードのニューラルモデルに対して提案する。局所変数を勾配を用いずに特定された高L2ノルムのトークンに置き換えることで、計算コストを最小限に抑えつつ、コード2seqモデルにおいて最先端の敵対的成功を達成し、勾配ベースの手法を上回り、耐性を持つモデルに対しても効果を示す。

ABSTRACT

Neural networks are well-known to be vulnerable to imperceptible perturbations in the input, called adversarial examples, that result in misclassification. Generating adversarial examples for source code poses an additional challenge compared to the domains of images and natural language, because source code perturbations must retain the functional meaning of the code. We identify a striking relationship between token frequency statistics and learned token embeddings: the L2 norm of learned token embeddings increases with the frequency of the token except for the highest-frequnecy tokens. We leverage this relationship to construct a simple and efficient gradient-free method for generating state-of-the-art adversarial examples on models of code. Our method empirically outperforms competing gradient-based methods with less information and less computational effort.

研究の動機と目的

• トレーニングデータにおけるトークン頻度と学習済みトークン埋め込みの間の統計的関係が、コードモデルにおける敵対的例生成に活用可能かどうかを調査すること。
• モデルの勾配や広範な探索を必要としない、計算効率の高い勾配フリーの攻撃手法を開発すること。
• コード2seqのような最先端のコード要約モデルに対する提案手法の有効性を評価すること。
• 勾配ベースの敵対的訓練に対して耐性を持つモデルに対しても、攻撃の転送性と耐性をテストすること。
• 頻度と相関する高L2ノルムトークンが、変数置換攻撃においてより効果的であることを示すこと。

提案手法

• 本手法は、複数のコードデータセットにおいて、トレーニングデータにおけるトークン頻度と対応する学習済みトークン埋め込みのL2ノルムとの間の強い相関関係を同定する。
• 敵対的影響を最大化するために、埋め込みのL2ノルムに基づいて局所変数の置換トークンを選択し、高L2ノルムのトークンを優先する。
• 攻撃は変数置換戦略として実装され、同じ語彙からの高L2ノルムトークンに局所変数識別子を置き換える。
• 勾配計算や反復最適化を一切必要としないため、CPUオンリーシステムでも高速に実行可能である。
• 白ボックスおよびブラックボックス設定の両方で適用可能であり、頻度-L2ノルム関係を活用して効果的なブラックボックス攻撃を生成する。
• 攻撃は、Java-small、Java-medium、Java-large、Python150kデータセットでトレーニングされたコード2seqモデルに対して評価された。

実験結果

リサーチクエスチョン

• RQ1 コードのトレーニングデータにおけるトークン頻度と学習済みトークン埋め込みのL2ノルムとの間に、統計的に有意な関係が存在するか？
• RQ2 この関係を活用して、勾配フリーの効果的な敵対的例をコードモデルに対して生成可能か？
• RQ3 提案されたSTRATA攻撃の性能は、勾配ベースおよび探索ベースの敵対的攻撃手法と比較してどうか？
• RQ4 勾配ベースの攻撃に対して耐性を持つモデルに対しても、STRATA攻撃は有効に機能するか？
• RQ5 頻度と埋め込み情報のみを用いて、ブラックボックス設定でも攻撃を効果的に適用可能か？

主な発見

• トークン頻度と埋め込みL2ノルムの間に強い非線形相関が存在する：頻度が高いトークンほど一般的にL2ノルムが高くなるが、非常に頻度の高いトークンではノルムが低下する傾向を示す。
• STRATAは、コード2seqにおいて競合する勾配ベース手法を上回り、はるかに少ない計算負荷で高い敵対的成功率を達成した。
• コード2seq/Java-largeモデルでは、テストセットで38.7%の成功率を達成し、ベースライン手法を上回り、複数のデータセット間で高い転送性を示した。
• 同様のハードウェア上で、STRATAはCPUオンリーマシンで数秒で敵対的例を生成したのに対し、同等の勾配ベース手法は複数時間かかっていた。
• 勾配ベース攻撃に対して耐性を持つモデルに対しても、STRATAは依然として効果的であり、敵対的例でF1スコアは0.367から0.240に低下した。
• 標的攻撃設定でも攻撃は非常に効果的であった。例えば、コード2seq/Java-largeで「tournament」という語を標的にした場合、成功率は86.3%に達した。