[論文レビュー] Testing Neural Program Analyzers

Rafiqul Islam Rabin, Ke Wang+1 more|arXiv (Cornell University)|Aug 25, 2019

Software Engineering Research参考文献 16被引用数 11

ひとこと要約

本稿では、ループ交換、変数名の変更、switch-to-if変換などの技術を用いて、意味的に同等だが構文的に異なるプログラムを生成することで、ニューラルプログラムアナライザーのロバストネスを評価する変換ベースのテストフレームワークを提案する。主な発見は、たとえ構文的変更がわずかであっても、state-of-the-art モデル（例：code2vec）がラベルを誤って予測してしまうことがあり、ニューラルプログラム解析モデルに顕著な脆さが存在することを示している。

ABSTRACT

Deep neural networks have been increasingly used in software engineering and program analysis tasks. They usually take a program and make some predictions about it, e.g., bug prediction. We call these models neural program analyzers. The reliability of neural programs can impact the reliability of the encompassing analyses. In this paper, we describe our ongoing efforts to develop effective techniques for testing neural programs. We discuss the challenges involved in developing such tools and our future plans. In our preliminary experiment on a neural model recently proposed in the literature, we found that the model is very brittle, and simple perturbations in the input can cause the model to make mistakes in its prediction.

研究の動機と目的

• ソフトウェア工学におけるニューラルプログラムアナライザーのための体系的でないテスト手法の欠如に対処すること。
• 意味保存的コード変換が、モデルの脆さや予測の一貫性の欠如を露呈できるかどうかを調査すること。
• 意味的同等性を維持しながら構文的構造を変更する合成テストプログラムを生成するフレームワークの開発。
• 元のプログラムと変換済みプログラムの予測を比較することで、モデルのロバストネスを評価すること。
• ニューラルモデルにおける予測失敗を最も効果的に引き起こす変換タイプを同定すること。

提案手法

• ループ交換（for ↔ while）、変数名の変更、ブール値の入れ替え、switch-to-if変換、ステートメントの再順序化などの意味保存的コード変換を適用する。
• 訓練データセットからの元のプログラムに変換を適用することで、意味を保持したまま合成テストプログラムを生成する。
• ニューラルモデルを用いて元のプログラムおよび変換済みプログラムのラベルを予測し、出力を比較する。
• 変換ベースのメタモーフィック関係を定義：意味的に同等なバージョン間で予測が一貫しているべきである。
• 予測の乖離を検出するための類似度閾値を設定し、モデルの不安定性を特定する。
• それぞれ Java および C# データセットを用いて、code2vec および GGNN モデルに対してフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 意味保存的コード変換は、ニューラルプログラムアナライザーにおける予測の一貫性の欠如を効果的に露呈できるか？
• RQ2 どの種類のコード変換がニューラルモデルの誤予測を引き起こしやすいか？
• RQ3 意味的に同等のプログラムの異なる構文的バリエーションにおいて、モデルのロバストネスはどのように変化するか？
• RQ4 一般的なニューラルプログラム埋め込みモデル（例：code2vec や GGNN）は、構文的摂動に対してどの程度失敗するか？
• RQ5 変換ベースのテストをどのように体系的に応用することで、ニューラルプログラム解析モデルの信頼性を評価できるか？

主な発見

• code2vec モデルは、isPrime 関数の while ループ実装を、for ループ版と意味的に同等であるにもかかわらず 'skip' メソッドと誤って予測した。
• while ループ版に対して 'isPrime' がトップ5予測に含まれなかったため、予測精度が著しく低下していることが示された。
• ループ交換や switch 変換などの意味保存的変換により、同等のプログラム形態間で予測が一貫性を欠いた。
• どの変換タイプも他よりも一貫して効果的であるとは限らず、包括的なテストには多様な変換が必要であることが示唆された。
• 予備の結果から、ニューラルプログラムアナライザーは非常に脆く、わずかな構文的変更が予測の大幅な乖離を引き起こすことが確認された。
• フレームワークはモデルの不安定性を効果的に露呈し、ニューラルプログラム解析におけるロバストネステストの必要性を強調した。