[論文レビュー] Evaluation of Generalizability of Neural Program Analyzers under Semantic-Preserving Transformations

Md Rafiqul Islam Rabin, Mohammad Amin Alipour|arXiv (Cornell University)|Apr 15, 2020

Software Engineering Research参考文献 39被引用数 8

ひとこと要約

この論文は、意味的保存的プログラム変換下でのニューラルプログラムアナライザー code2vec および code2seq の一般化可能性を評価し、変数名の変更や順序の入れ替えといったわずかな構造的変更ですら、予測の顕著なシフトを引き起こすことがあることを明らかにした。この研究は、これらのモデルが構文的変化に対して頑健でないことを示しており、実世界のプログラム解析タスクにおける信頼性に懸念を呈する。

ABSTRACT

The abundance of publicly available source code repositories, in conjunction with the advances in neural networks, has enabled data-driven approaches to program analysis. These approaches, called neural program analyzers, use neural networks to extract patterns in the programs for tasks ranging from development productivity to program reasoning. Despite the growing popularity of neural program analyzers, the extent to which their results are generalizable is unknown. In this paper, we perform a large-scale evaluation of the generalizability of two popular neural program analyzers using seven semantically-equivalent transformations of programs. Our results caution that in many cases the neural program analyzers fail to generalize well, sometimes to programs with negligible textual differences. The results provide the initial stepping stones for quantifying robustness in neural program analyzers.

研究の動機と目的

• 意味的に同等だが構文的に変更されたプログラムに対して、ニューラルプログラムアナライザーの一般化可能性を調査すること。
• code2vec や code2seq といった広く使われているニューラルモデルが、ソースコードのわずかな構造的変更に対しても一貫した予測を維持するかを評価すること。
• 現在のニューラルプログラムアナライザーが、プログラムの意味を保存する変換に対してどれほど脆いかを特定すること。
• 既存モデルの限界を実証的に示し、今後の頑健で信頼性のあるニューラルコード解析の研究を促すこと。
• ニューラルプログラム解析システムにおける頑健性と信頼性の測定の基盤となる評価を提供すること。

提案手法

• code2seq の学習データセットに含まれるプログラムに、7つの意味的保存的変換を適用した。変換には変数名の変更、文の順序の入れ替え、制御構造のリファクタリングが含まれる。
• 抽象構文木（AST）構造と動作を保存したまま、元のプログラムの意味的に同等の変種を生成した。
• code2vec および code2seq モデルを用いて、元のプログラムおよび変換済みプログラムの出力（例：メソッド名）を予測した。
• 元のプログラムと変換済みプログラムの間で予測を比較し、一般化性の欠如を示す予測シフトを検出した。
• 統計的信頼性を確保するため、複数のデータセットおよび変換タイプを対象とした大規模な評価を実施した。
• 異なる変換タイプにおける予測変更の頻度と深刻度を定量化し、モデルの感受性を評価した。

実験結果

リサーチクエスチョン

• RQ1 code2vec や code2seq といったニューラルプログラムアナライザーは、わずかな構文的変更を伴う意味的に同等のプログラムに対して、どの程度一般化できるか？
• RQ2 意味的保存的変換の種別が、ニューラルプログラムアナライザーの予測一貫性にどのように影響するか？
• RQ3 特定の変換タイプが、ニューラルモデルにおける顕著な予測ドリフトを引き起こすことがあるか？
• RQ4 構造的に変更されたが機能的に同一のコードにさらされた場合、ニューラルモデルの性能はどの程度低下するか？
• RQ5 観察された予測シフトは、意味的コンテンツではなく構文的変化に対するモデル感受性に起因するのか？

主な発見

• 9.19% から 36.36% のケースで、元のプログラムでの正しい予測が意味的保存的変換後に誤った予測に変わった。
• 変数名の変更と文の順序の入れ替えが、予測ドリフト率が最も高かった。これは構文的構造に対する感受性を示している。
• モデルは、プログラムの意味と AST 構造を保存する変換に対しても一貫性のない挙動を示した。
• これらの結果から、現在のニューラルプログラムアナライザーは脆く、意味的に同等のコードバージョンへの一般化が信頼できないことが示唆された。
• 性能の低下は変換タイプごに一様ではなく、一部の変更では他のものよりも顕著に高い誤差率を示した。
• この研究は、標準ベンチマークでの高い精度にもかかわらず、ニューラルモデルの頑健性に深刻なギャップが存在することを明らかにした。