[論文レビュー] CamBench -- Cryptographic API Misuse Detection Tool Benchmark Suite

Michael Schlichtig, Anna-Katharina Wickert+3 more|arXiv (Cornell University)|Apr 13, 2022

Advanced Malware Detection Techniques被引用数 5

ひとこと要約

CamBench は、Java の暗号API誤用検出ツールの評価を静的解析を用いて行う、透明性がありオープンソースのベンチマークスイートである。実世界および合成コードを用い、JCA（Java Cryptography Architecture）のセキュリティ上の欠陥に焦点を当て、ベストプラクティスとコミュニティからのフィードバックに基づいて標準化されたテストケースを提供することで、CogniCrypt SAST や CryptoGuard などのツールの公平で再現可能な比較を可能にする。

ABSTRACT

Context: Cryptographic APIs are often misused in real-world applications. Therefore, many cryptographic API misuse detection tools have been introduced. However, there exists no established reference benchmark for a fair and comprehensive comparison and evaluation of these tools. While there are benchmarks, they often only address a subset of the domain or were only used to evaluate a subset of existing misuse detection tools. Objective: To fairly compare cryptographic API misuse detection tools and to drive future development in this domain, we will devise such a benchmark. Openness and transparency in the generation process are key factors to fairly generate and establish the needed benchmark. Method: We propose an approach where we derive the benchmark generation methodology from the literature which consists of general best practices in benchmarking and domain-specific benchmark generation. A part of this methodology is transparency and openness of the generation process, which is achieved by pre-registering this work. Based on our methodology we design CamBench, a fair "Cryptographic API Misuse Detection Tool Benchmark Suite". We will implement the first version of CamBench limiting the domain to Java, the JCA, and static analyses. Finally, we will use CamBench to compare current misuse detection tools and compare CamBench to related benchmarks of its domain.

研究の動機と目的

• 暗号API誤用検出ツールを評価するための標準化され、コミュニティで受け入れられたベンチマークの欠如に対処すること。
• 実世界および合成コードに基づく共通のテストセットを確立することで、既存のツールの公平で再現可能な比較を可能にすること。
• 事前登録とコミュニティ参加を通じて、ベンチマーク作成の透明性と開放性を促進すること。
• 将来のツール開発を支援するため、測定可能な最適化目標と再利用可能なベンチマーク作成手法を提供すること。
• CamBench を JCA（Java Cryptography Architecture）分野の基準ベンチマークとして確立し、他の言語や分析タイプへの拡張性を備えること。

提案手法

• ベンチマーク作成手法を、ベンチマーク作成分野の確立されたベストプラクティスおよび暗号API誤用に関する分野固有の知識から導出すること。
• 透明性と再現可能性を確保するため、ベンチマーク開発プロセスを事前登録すること。
• GitHub などの公開リポジトリから実世界の Java アプリケーションと合成テストケースを収集し、多様な誤用パターンをカバーすること。
• 専門家知識とコミュニティからのフィードバックを用いてテストケースをラベル付けすることで、既知の脆弱性の正確なカバレッジを確保すること。
• JCA の API カバレッジを測定するヒューリスティックを実装し、ツールの完全性の評価を可能にすること。
• GitHub Actions を用いた継続的インテグレーションおよびデプロイメントを実施し、一意の DOI を付与して永続的なアクセスを可能にすること。

実験結果

リサーチクエスチョン

• RQ1 現在の暗号API誤用検出ツールは、CamBench において精度、再現率、偽陽性率の観点でどのように性能を発揮するか？
• RQ2 CamBench は、既存のカスタムベンチマークと比較して、構成、評価基準、およびメソドロジーの厳密性においてどのように異なるか？
• RQ3 JCA API カバレッジを測定するためのヒューリスティックは、ツールの完全性をどれほど正確に反映しているか？
• RQ4 ベンチマーク作成プロセスを、他の言語や分析タイプへも拡張可能で、透明かつ再現可能にするにはどうすればよいか？

主な発見

• CamBench は、JCA を用いた Java エコシステムにおいて、暗号API誤用検出ツールの最初の標準化され、コミュニティ主導の比較を可能にする。
• ベンチマークには実世界のアプリケーションと合成テストケースの両方が含まれており、既知の誤用パターンの多様で代表的なカバレッジを確保している。
• JCA API カバレッジを測定するためのヒューリスティックは、ツールの完全性を測定する実用的で測定可能な方法を提供しているが、さらなる検証を要する。
• CamBench は拡張性を備えて設計されており、将来、他のプログラミング言語や動的解析などの分析手法への適応が可能である。
• オープンで透明性があり、事前登録された開発プロセスにより、ツール評価の再現可能性と信頼性が向上している。
• 評価計画には、コミュニティが貢献する結果が含まれており、長期的なメンテナンスと採用を促進している。