[論文レビュー] Learning a Static Bug Finder from Data

Yu Wang, Fengjuan Gao+2 more|arXiv (Cornell University)|Jul 12, 2019

Software Engineering Research参考文献 43被引用数 8

ひとこと要約

この論文では、コードデータから直接学習する枠組みNeurSAを提案する。具体的には、区間ベースの伝播メカニズムを備えたグラフニューラルネットワーク（GNN）を用いて、ヌルポ인터の間違った参照や配列インデックスのエラーといった意味的バグを検出する。この手法は、従来の静的解析ツールよりも精度が高く、実世界のプロジェクトにおいて50件の新しいバグを発見した。そのうち9件は修正済みで、3件は確認済みである。

ABSTRACT

We present an alternative approach to creating static bug finders. Instead of relying on human expertise, we utilize deep neural networks to train static analyzers directly from data. In particular, we frame the problem of bug finding as a classification task and train a classifier to differentiate the buggy from non-buggy programs using Graph Neural Network (GNN). Crucially, we propose a novel interval-based propagation mechanism that leads to a significantly more efficient, accurate and scalable generalization of GNN. We have realized our approach into a framework, NeurSA, and extensively evaluated it. In a cross-project prediction task, three neural bug detectors we instantiate from NeurSA are effective in catching null pointer dereference, array index out of bound and class cast bugs in unseen code. We compare NeurSA against several static analyzers (e.g. Facebook Infer and Pinpoint) on a set of null pointer dereference bugs. Results show that NeurSA is more precise in catching the real bugs and suppressing the spurious warnings. We also apply NeurSA to several popular Java projects on GitHub and discover 50 new bugs, among which 9 have been fixed, and 3 have been confirmed.

研究の動機と目的

• 人為的に定義されたルールに依存する従来の静的バグ検出ツールの高い誤検出率と誤検出率の問題を、データ駆動型の学習に置き換えることにより解決すること。
• グラフニューラルネットワーク（GNN）の能力を、構文的パターンを超える複雑な意味的バグの検出に向上させること。
• 手動でのバグパターンの定義を必要とせず、スケーラブルで汎用的な神経ネットワークベースの静的解析フレームワークを構築すること。
• 静的解析ルールの設計に必要な専門知識に依存することを減らし、コードコーパスからの自動学習プロセスを実現すること。
• ヌルポインタの間違った参照、配列インデックスの範囲外アクセス、クラスキャスト例外といった、プロジェクト間をまたがるバグの効果的検出を可能にすること。

提案手法

• 複数のオープンソースプロジェクトから学習データを収集し、既知のバグレポートに基づいてプログラムを「バグあり」と「正常」と自動的にラベル付けする。
• プログラムをコードプロパティグラフとして表現し、GNNの深層的意味的特徴の学習能力を向上させるために、新規の区間ベース伝播メカニズム（IBPM）を適用する。
• IBPMにより、グラフの区間上で階層的なメッセージ伝達が可能となり、大規模プログラムに対してもモデルの表現力とスケーラビリティが向上する。
• ノードおよびグラフレベルの表現を用いて、バグあり／バグなしのコードスニペットを分類する二値分類タスクとしてモデルを学習する。
• NeurSAは、プログラムグラフ内の関数呼び出しや制御構造を跨いで情報を伝播することで、関数間静的解析を実現する。
• このフレームワークは拡張可能である。特定のバグタイプのラベル付きデータで再学習することで、コアアーキテクチャを変更せずに新しいバグ検出器を生成できる。

実験結果

リサーチクエスチョン

• RQ1 コードデータから直接学習する深層学習モデルは、ルールベースの静的解析ツールに比べ、複雑な意味的バグをより効果的に検出できるか？
• RQ2 提案された区間ベース伝播メカニズム（IBPM）は、GNNのプログラム解析における性能とスケーラビリティをどのように向上させるか？
• RQ3 データ駆動型のニューラルアプローチは、プロジェクト間でどれほど一般化可能であり、未確認のバグを検出できるか？
• RQ4 このフレームワークは、大規模で活発的にメンテナンスされているオープンソースプロジェクトにおいて、実際のバグを発見できるか？
• RQ5 精度と再現率の観点から、Facebook Infer や Pinpoint といった最先端の静的解析ツールと比較して、モデルの性能はどの程度か？

主な発見

• NeurSAは、ヌルポインタの間違った参照バグの検出において、Facebook Infer や Pinpoint を上回り、より高い精度と少ない誤検出を示した。
• フレームワークは、人気のあるGitHubプロジェクトにおいて50件の新しいバグを発見した。そのうち9件は修正済みであり、3件はプロジェクトメンテナーより確認済みである。
• NeurSAから生成された3つのニューラルバグ検出器は、未確認のコードにおいて、ヌルポインタの間違った参照、配列インデックスの範囲外アクセス、クラスキャスト例外を正常に検出できた。
• 区間ベース伝播メカニズム（IBPM）は、GNNの一般化能力を顕著に向上させ、複雑で構文的でないバグパターンの検出を可能にした。
• 改善は見られたが、NeurSAは非常に大きなプログラム（約1,000ノード）では依然として困難を示しており、関係のないコードに埋もれて局所的なバグパターンが見えにくくなるため、信号の局所化の向上が求められる。
• NeurSAの誤検出は、主に誤検出の原因と同じ要因に起因しており、特に完全な文脈なしにヌルポインタの存在に過敏に反応するためである。