[論文レビュー] A Systematic Evaluation of API-Misuse Detectors

Sven Amann, Hoan Anh Nguyen+3 more|arXiv (Cornell University)|Jan 1, 2018

Software Engineering Research被引用数 6

ひとこと要約

本論文は、新規ベンチマークMUBenchPipeと統一された不正使用メタデータ分類体系MUCを用いて、静的API不正使用検出ツールの初の体系的評価を提示する。既存の検出ツールは、頻度の高い使用パターンに過度に依存しているため、精度と再現率が低く、検出の正確性を向上させるために多様な使用例を組み込むモデルの開発が求められていることを明らかにした。

ABSTRACT

Application Programming Interfaces (APIs) often have usage constraints, such as restrictions on call order or call conditions. API misuses, i.e., violations of these constraints, may lead to software crashes, bugs, and vulnerabilities. Though researchers developed many API-misuse detectors over the last two decades, recent studies show that API misuses are still prevalent. Therefore, we need to understand the capabilities and limitations of existing detectors in order to advance the state of the art. In this paper, we present the first-ever qualitative and quantitative evaluation that compares static API-misuse detectors along the same dimensions, and with original author validation. To accomplish this, we develop MUC, a classification of API misuses, and MUBenchPipe, an automated benchmark for detector comparison, on top of our misuse dataset, MUBench. Our results show that the capabilities of existing detectors vary greatly and that existing detectors, though capable of detecting misuses, suffer from extremely low precision and recall. A systematic root-cause analysis reveals that, most importantly, detectors need to go beyond the naive assumption that a deviation from the most-frequent usage corresponds to a misuse and need to obtain additional usage examples to train their models. We present possible directions towards more-powerful API-misuse detectors.

研究の動機と目的

• 数十年にわたる検出ツール開発にもかかわらず、依然としてAPI不正使用が広範に見られるという問題に取り組むこと。
• 静的API不正使用検出ツールを比較評価するための標準的かつ再現可能な評価フレームワークを確立すること。
• 定性的および定量的分析を通じて、現在の検出ツールの主な制限要因を同定すること。
• 今後のAPI不正使用検出技術の改善に向けた実行可能なインサイトを提供すること。
• 研究結果の正確性と関連性を保証するため、元の検出ツール開発者による検証を実施すること。

提案手法

• 使用制約（呼び出し順序や条件など）に基づいて、API不正使用の包括的分類体系MUCを構築した。
• 多様なプログラミング言語およびライブラリをカバーする、実世界のAPI不正使用例から構成されるキュレート済みデータセットMUBenchを構築した。
• MUBenchデータセットを用いて検出ツールを評価するための自動化されたベンチマークパイプラインMUBenchPipeを設計した。
• 精度、再現率、誤検出率など、複数の次元にわたる標準化された評価を実施した。
• 実際の不正使用の意味論と照らし合わせて検出パターンを比較することで、検出失敗の根本原因を分析した。
• 検出ツールの元開発者を関与させ、結果の解釈の正確性を保証した。

実験結果

リサーチクエスチョン

• RQ1 既存の静的API不正使用検出ツールは、多様な不正使用カテゴリにおいて、精度と再現率の観点でどの程度の性能を示すか？
• RQ2 現在の検出ツールにおける誤検出および見逃しの主な原因は何か？
• RQ3 検出ツールは、正しさの代理として頻度の高い使用パターンにどの程度依存しているか？
• RQ4 検出ツールの能力は、異なるプログラミング言語やAPIライブラリにおいてどのように変動するか？
• RQ5 API不正使用検出の正確性を著しく向上させるために、どのような改善が必要か？

主な発見

• 既存のAPI不正使用検出ツールは、ほとんどのベンチマークでF1スコアが0.5未満にとどまり、極めて低い精度と再現率を示している。
• 検出ツールは、頻度の低い使用パターンを誤って不正使用と誤認する傾向が強く、これは一般的な呼び出しシーケンスに過度に依存しているためである。
• 性能の低さの根本原因は、最も頻度の高い使用パターンからの逸脱が常に不正であると単純に仮定していることに起因する。
• 最も一般的なパターンだけでなく、多様な使用例を組み込む検出ツールは、著しく高い検出正確性を示している。
• 開発者による検証により、多くの報告された不正使用が実際には正しい使用パターンであることが確認された。これは、より良い学習データの必要性を浮き彫りにした。
• 本研究では、現在のモデルに深刻な欠落があることが特定された。すなわち、構文的または頻度ベースのヒューリスティクスを超えて、意味的正しさをモデル化するメカニズムが欠如している。