[논문 리뷰] Static JavaScript Call Graphs: A Comparative Study

Gábor Antal, Péter Hegedűs외 3명|arXiv (Cornell University)|2024. 05. 12.

Web Data Mining and Analysis인용 수 8

한 줄 요약

본 논문은 SunSpider 벤치마크와 Node.js 모듈 전반에 걸쳐 다섯 가지 정적 JavaScript 호출 그래프 도구를 실증적으로 비교하고, 유의미한 정밀도 차이를 보이며 도구 조합이 대부분의 실제 엣지를 포착하면서도 정밀도를 유지할 수 있음을 보여준다.

ABSTRACT

The popularity and wide adoption of JavaScript both at the client and server side makes its code analysis more important than ever before. Most of the algorithms for vulnerability analysis, coding issue detection, or type inference rely on the call graph representation of the underlying program. Despite some obvious advantages of dynamic analysis, static algorithms should also be considered for call graph construction as they do not require extensive test beds for programs and their costly execution and tracing. In this paper, we systematically compare five widely adopted static algorithms - implemented by the npm call graph, IBM WALA, Google Closure Compiler, Approximate Call Graph, and Type Analyzer for JavaScript tools - for building JavaScript call graphs on 26 WebKit SunSpider benchmark programs and 6 real-world Node.js modules. We provide a performance analysis as well as a quantitative and qualitative evaluation of the results. We found that there was a relatively large intersection of the found call edges among the algorithms, which proved to be 100 precise. However, most of the tools found edges that were missed by all others. ACG had the highest precision followed immediately by TAJS, but ACG found significantly more call edges. As for the combination of tools, ACG and TAJS together covered 99% of the found true edges by all algorithms, while maintaining a precision as high as 98%. Only two of the tools were able to analyze up-to-date multi-file Node.js modules due to incomplete language features support. They agreed on almost 60% of the call edges, but each of them found valid edges that the other missed.

연구 동기 및 목표

• 다섯 가지 널리 사용되는 정적 JavaScript 호출 그래프 도구의 기능성과 성능을 평가한다.
• 벤치마크 및 실세계 입력에서 각 도구가 생성하는 엣지와 노드를 정량적으로 비교한다.
• 수동 검증을 통해 실제/거짓 엣지를 질적 분석하고 각 도구의 강점과 한계를 확인한다.
• 높은 정밀도로 커버리지를 극대화하는 도구 조합에 대한 지침을 제공한다.

제안 방법

• 다섯 개의 오픈 소스 정적 JS 호출 그래프 도구(npm callgraph, WALA, Closure Compiler, ACG, TAJS)를 선택하고 outputs를 단일 JSON 형식으로 통합한다.
• 세 가지 입력 그룹에서 도구를 실행한다: SunSpider 벤치마크(단일 파일 프로그램 26개), 다중 파일 Node.js 모듈 6개, 그리고 생성된 대규모 JS 프로그램.
• 일관된 JSON 호출 그래프 표현을 만들고 엣지 중복 및 대상 정보 손실 문제를 해결하기 위해 도구를 필요한 대로 패치한다.
• 각 도구의 출력을 엣지-도구 출처 정보를 포함한 결합 JSON으로 병합하여 비교한다.
• 대표 샘플의 엣지(그리고 SunSpider의 모든 엣지)를 수동으로 검증하여 실제 양성/거짓 양성을 판단한다.

실험 결과

연구 질문

• RQ1 각 정적 호출 그래프 도구가 자바스크립트 프로그램에서 갖는 정밀도와 재현율 특성은 무엇인가?
• RQ2 도구 간에 탐지된 호출 엣지에 대한 합의 정도는 어떠하며, 어떤 엣지는 특정 도구에서만 식별되는가?
• RQ3 도구 조합이 실제 엣지의 높은 커버리지를 확보하면서도 높은 정밀도를 유지할 수 있는가, 그리고 그 트레이드오프는 무엇인가?
• RQ4 실제 다중 파일 Node.js 모듈에서 도구의 성능은 단일 파일 벤치마크와 비교하여 어떤 차이가 있는가?

주요 결과

• ACG는 가장 높은 정밀도(보고된 엣지의 99% 이상이 실제)와 모든 도구가 찾은 실제 엣지의 합집합에 대한 가장 높은 재현도(90% 이상)를 보인다.
• TAJS는 약 98%의 정밀도를 달성하지만 SunSpider에서 고유 엣지를 찾지 못하고 ACG의 엣지 수에 미치지 못한다.
• 도구 간 엣지의 교집합이 비교적으로 넓으며, 다섯 도구 모두에서 발견되고 모두 실제 양성인 엣지 93개가 있다.
• 일부 도구(WALA, Closure, npm-cg)는 다른 도구에서 찾지 못한 많은 엣지를 보고하지만 많은 수가 거짓 양성으로, 도구별 편향(예: 전역 범위 호출, 동적 구성)을 강조한다.
• ACG와 TAJS(또는 Closure의 어느 정도까지도) 조합은 모든 도구에서 발견된 실제 엣지의 약 99%를 커버하는 동시에 정밀도를 약 98%로 유지한다.
• 입력 크기에 따라 성능과 메모리 사용량이 달라진다; Closure와 TAJS는 런타임에서 우수하고, ACG와 Closure는 현실적인 입력에서 더 많은 메모리를 사용하는 경향이 있으며, 매우 큰 입력에서는 Closure/TAJS/ACG만이 실용적이다.