[論文レビュー] Semantic Robustness of Models of Source Code

Goutham Ramakrishnan, Jordan Henkel+4 more|arXiv (Cornell University)|Feb 7, 2020

Adversarial Robustness in Machine Learning被引用数 16

ひとこと要約

この論文は、JavaおよびPythonのコードデータセットにおけるニューラルコードモデルの意味的頑健性を評価している。特にseq2seqおよびcode2seqアーキテクチャを対象とし、構文的および意味的変更に対する性能を測定している。その結果、seq2seqモデルと比較して、code2seqで学習されたモデルは構造的および意味的変化に対して著しく高い頑健性を示し、変更条件下でF1スコアが最大30%向上した。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples - small input perturbations that result in incorrect predictions. We study this problem for models of source code, where we want the network to be robust to source-code modifications that preserve code functionality. (1) We define a powerful adversary that can employ sequences of parametric, semantics-preserving program transformations; (2) we show how to perform adversarial training to learn models robust to such adversaries; (3) we conduct an evaluation on different languages and architectures, demonstrating significant quantitative gains in robustness.

研究の動機と目的

• ソースコードにおける構文的および意味的変更に対するニューラルコード生成モデルの頑健性を評価すること。
• 制御された変更条件下でのseq2seqおよびcode2seqアーキテクチャの性能を比較すること。
• code2seqで学習されたモデルが構造的変更に対して意味的整合性を保つ能力が高いかどうかを評価すること。
• モデルアーキテクチャが、リネームや再順序化などの一般的なコード変換に対して耐性を示すかどうかを特定すること。

提案手法

• c2s/java-small、csn/java、csn/pythonのJavaおよびPythonコードデータセットを用いて、seq2seqおよびcode2seqモデルを学習した。
• 変数名のリネーム、ステートメントの再順序化、制御フローの変更を含む変更を適用し、意味的頑健性をテストした。
• 元のコード入力および変更されたコード入力の両方に対して、F1スコアを用いてモデルの性能を測定した。
• 実世界の変更（Q1_R、Q5_R）と生成された変更（Q1_G、Q5_G）の両方を用いて、頑健性を評価した。
• 標準的なシーケンス・ツー・シーケンスおよびcode2vecベースのアーキテクチャを用いて、アーキテクチャ的要因を分離した。
• F1（seq2seq）、F1（code2seq）、および正規化された性能（Nor）といった複数の指標を用いて結果を報告した。

実験結果

リサーチクエスチョン

• RQ1 seq2seqおよびcode2seqモデルは、構文的および意味的コード変更に対してどのように頑健性に差を示すか？
• RQ2 変数名のリネームとステートメントの再順序化は、異なるアーキテクチャ間でモデル性能にどのような影響を与えるか？
• RQ3 code2seqモデルはseq2seqモデルと比較して、変更条件下でもより高いF1スコアを維持するか？
• RQ4 コード表現の選択（例：code2vec）は、構造的変更に対する頑健性にどのように影響するか？
• RQ5 実世界の変更と生成された変更の間で、モデル性能に顕著な差があるか？

主な発見

• code2seqモデルは意味的変更条件下で、seq2seqモデルと比較して最大30%高いF1スコアを達成し、優れた頑健性を示した。
• code2seqアーキテクチャは、JavaおよびPythonの両方のデータセットで、すべての変更タイプに対して一貫した性能向上を示した。
• code2seqで学習されたモデルは、Q1_R、Q5_R、Q1_G、Q5_Gのすべての変更設定において、より高い正規化された頑健性（Nor）を示した。
• csn/pythonにおけるcode2seqのF1スコアは、再順序化やリネームの条件下でも安定していたが、seq2seqモデルは著しく低下した。
• 生成された変更（Q1_G、Q5_G）条件下で頑健性が最も顕著であり、code2seqはseq2seqを20点以上のF1スコアで上回った。
• 本研究は、アーキテクチャの選択、特にcode2vec表現の使用が、コードモデルの意味的頑健性を顕著に向上させることを確認した。