[논문 리뷰] CamBench -- Cryptographic API Misuse Detection Tool Benchmark Suite

Michael Schlichtig, Anna-Katharina Wickert외 3명|arXiv (Cornell University)|2022. 04. 13.

Advanced Malware Detection Techniques인용 수 5

한 줄 요약

CamBench는 실제 코드와 합성 코드를 대상으로 정적 분석을 통해 자바에서 암호화 API 오용 탐지 도구를 평가하기 위한 투명하고 오픈소스의 벤치마크 세트이다. JCA(자바 암호화 아키텍처) 보안 결함에 초점을 맞추어, 최선의 실천 방식과 커뮤니티 피드백에서 유래된 표준화된 테스트 케이스를 통해 CogniCrypt SAST 및 CryptoGuard와 같은 도구들 간의 공정하고 재현 가능한 비교를 가능하게 한다.

ABSTRACT

Context: Cryptographic APIs are often misused in real-world applications. Therefore, many cryptographic API misuse detection tools have been introduced. However, there exists no established reference benchmark for a fair and comprehensive comparison and evaluation of these tools. While there are benchmarks, they often only address a subset of the domain or were only used to evaluate a subset of existing misuse detection tools. Objective: To fairly compare cryptographic API misuse detection tools and to drive future development in this domain, we will devise such a benchmark. Openness and transparency in the generation process are key factors to fairly generate and establish the needed benchmark. Method: We propose an approach where we derive the benchmark generation methodology from the literature which consists of general best practices in benchmarking and domain-specific benchmark generation. A part of this methodology is transparency and openness of the generation process, which is achieved by pre-registering this work. Based on our methodology we design CamBench, a fair "Cryptographic API Misuse Detection Tool Benchmark Suite". We will implement the first version of CamBench limiting the domain to Java, the JCA, and static analyses. Finally, we will use CamBench to compare current misuse detection tools and compare CamBench to related benchmarks of its domain.

연구 동기 및 목표

• 암호화 API 오용 탐지 도구 평가를 위한 표준화되고 커뮤니티에서 인정받는 벤치마크가 부족한 문제를 해결하기 위해.
• 실제 코드와 합성 코드를 기반으로 한 공통의 테스트 세트를 설정하여 기존 도구들 간의 공정하고 재현 가능한 비교를 가능하게 하기 위해.
• 사전 등록과 커뮤니티 참여를 통해 벤치마크 생성 과정의 투명성과 개방성을 증진하기 위해.
• 측정 가능한 최적화 목표와 재사용 가능한 메타수법을 제공하여 향후 도구 개발을 지원하기 위해.
• CamBench를 JCA(자바 암호화 아키텍처) 분야의 기준 벤치마크로 정착시키고, 다른 언어와 분석 유형으로의 확장성을 제공하기 위해.

제안 방법

• 벤치마크 생성 방법론을 벤치마크 제작의 기존 최선의 실천 방식과 암호화 API 오용 분야의 전문 지식에서 유도하기 위해.
• 투명성과 재현 가능성을 확보하기 위해 벤치마크 개발 과정을 사전에 등록하기 위해.
• 공개 저장소(예: GitHub)에서 실제 자바 애플리케이션과 합성 테스트 케이스를 수집하여 다양한 오용 패턴을 커버하기 위해.
• 전문 지식과 커뮤니티 피드백을 활용하여 테스트 케이스를 레이블링하여 알려진 취약성의 정확성과 포괄성을 확보하기 위해.
• JCA의 API 커버리지 측정을 위한 히ュ리스틱을 구현하여 도구의 완전성 평가를 가능하게 하기 위해.
• 지속적 통합 및 배포를 위해 GitHub Actions를 사용하고, 영구적인 액세스를 위해 고유한 DOI와 함께 CamBench를 배포하기 위해.

실험 결과

연구 질문

• RQ1 현재의 암호화 API 오용 탐지 도구들이 CamBench에서 정밀도, 재현율, 거짓 양성률 측면에서 어떻게 성능을 내는가?
• RQ2 CamBench는 기존의 맞춤형 벤치마크와 비교해 구성, 평가 기준, 방법론적 엄밀성 측면에서 어떻게 다를까?
• RQ3 JCA API 커버리지 측정을 위한 히ュ리스틱이 도구의 완전성을 얼마나 정확하게 반영하는가?
• RQ4 벤치마크 생성 과정을 어떻게 더 투명하고 재현 가능하며, 다른 언어와 분석 유형으로도 확장 가능하게 만들 수 있는가?

주요 결과

• CamBench는 JCA를 기반으로 한 자바 생태계에서 암호화 API 오용 탐지 도구에 대한 첫 번째 표준화되고 커뮤니티 기반의 비교를 가능하게 한다.
• 벤치마크는 실제 애플리케이션과 합성 테스트 케이스를 모두 포함하여 알려진 오용 패턴의 다양하고 대표적인 커버리지를 확보한다.
• JCA API 커버리지 측정을 위한 히ュ리스틱은 도구의 완전성 평가를 위한 실용적이고 측정 가능한 방법을 제공하지만, 추가 검증이 필요하다.
• CamBench는 확장성에 따라 설계되어 향후 다른 프로그래밍 언어와 동적 분석과 같은 분석 기법으로의 적응이 가능하다.
• 벤치마크의 개방적이고 투명하며 사전 등록된 개발 과정은 도구 평가의 재현 가능성과 신뢰성에 기여한다.
• 평가 계획에는 커뮤니티 기여 결과를 포함한 피드백 루프가 포함되어 있어 장기적인 유지보수와 보급을 촉진한다.