[論文レビュー] Static JavaScript Call Graphs: A Comparative Study

Gábor Antal, Péter Hegedűs+3 more|arXiv (Cornell University)|May 12, 2024

Web Data Mining and Analysis被引用数 8

ひとこと要約

本論文は、SunSpider ベンチマークと Node.js モジュール全体で5つの静的 JavaScript 呼び出しグラフツールを経験的に比較し、精度の差が顕著であること、ツールの組み合わせがほとんどの真のエッジをカバーしつつ高精度を維持できることを示している。

ABSTRACT

The popularity and wide adoption of JavaScript both at the client and server side makes its code analysis more important than ever before. Most of the algorithms for vulnerability analysis, coding issue detection, or type inference rely on the call graph representation of the underlying program. Despite some obvious advantages of dynamic analysis, static algorithms should also be considered for call graph construction as they do not require extensive test beds for programs and their costly execution and tracing. In this paper, we systematically compare five widely adopted static algorithms - implemented by the npm call graph, IBM WALA, Google Closure Compiler, Approximate Call Graph, and Type Analyzer for JavaScript tools - for building JavaScript call graphs on 26 WebKit SunSpider benchmark programs and 6 real-world Node.js modules. We provide a performance analysis as well as a quantitative and qualitative evaluation of the results. We found that there was a relatively large intersection of the found call edges among the algorithms, which proved to be 100 precise. However, most of the tools found edges that were missed by all others. ACG had the highest precision followed immediately by TAJS, but ACG found significantly more call edges. As for the combination of tools, ACG and TAJS together covered 99% of the found true edges by all algorithms, while maintaining a precision as high as 98%. Only two of the tools were able to analyze up-to-date multi-file Node.js modules due to incomplete language features support. They agreed on almost 60% of the call edges, but each of them found valid edges that the other missed.

研究の動機と目的

• 広く用いられている5つの静的 JavaScript 呼び出しグラフツールの能力と性能を評価する。
• ベンチマークと実世界の入力で、各ツールが生成するエッジとノードを定量的に比較する。
• 手作業での検証を通じて真陽性/偽陽性エッジを質的に分析し、各ツールの長所と限界を特定する。
• 高い精度を維持しつつカバレッジを最大化するツールの組み合わせに関する指針を提供する。

提案手法

• オープンソースの静的 JS 呼び出しグラフツールを5つ選択し（npm callgraph、WALA、Closure Compiler、ACG、TAJS）、出力を統一された JSON 形式に適合させる。
• 3つの入力グループでツールを実行する：SunSpider ベンチマーク（26個の単一ファイルプログラム）、6つの多ファイル Node.js モジュール、および生成された大規模な JS プログラム。
• 一貫した JSON 呼び出しグラフ表現を生成するために必要に応じてツールを修正し、エッジの重複や欠落したターゲット情報を解決する。
• 比較のため、エッジごとにツールの出典を含む結合済み JSON に個別ツールの出力を統合する。
• 真陽性/偽陽性を決定するために、エッジの代表的なサンプル（SunSpider の全エッジを含む）を手作業で検証する。

実験結果

リサーチクエスチョン

• RQ1 JavaScript プログラムに対する各静的呼び出しグラフツールの精度と再現率の特徴は何か？
• RQ2 検出された呼び出しエッジについてツールの出力はどの程度一致するか、特定のツールによって一意に識別されるエッジはどれか？
• RQ3 ツールの組み合わせは真のエッジの高いカバレッジを高精度を維持しつつ達成できるか、そしてそのトレードオフは何か？
• RQ4 実世界の多ファイル Node.js モジュールは、単一ファイルのベンチマークと比較してツールの性能はどうか？

主な発見

• ACG は最高の精度を達成する（報告されたエッジのうち真である割合が99%を超える）とともに、全ツールが見つけた真のエッジの和集合に対しても最高の再現率を示す（90%超）。
• TAJS の精度は約98%だが、SunSpider では一意のエッジを見つけず、ACG のエッジ数には及ばない。
• ツール間でエッジの交差は比較的大きく、5つすべてのツールで見つかったエッジは93件、すべて真陽性である。
• いくつかのツール（WALA、Closure、npm-cg）は他のツールが検出しない多くのエッジを報告するが、それらの多くは偽陽性であり、グローバルスコープ呼び出しや動的構成など、ツール固有の偏りを浮き彫りにする。
• ACG と TAJS（または Closure もある程度）を組み合わせると、すべてのツールで検出された真のエッジの約99%をカバーし、精度を約98%程度に維持する。
• 入力サイズによって性能とメモリ使用量は異なる。ClosureとTAJSは実行時性能で優れる一方、現実的な入力ではACGとClosureがメモリを多く使用する傾向があり、非常に大規模な入力ではClosure/TAJS/ACGのみが実用的である。