[논문 리뷰] A Systematic Evaluation of API-Misuse Detectors

Sven Amann, Hoan Anh Nguyen외 3명|arXiv (Cornell University)|2018. 01. 01.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 새로운 벤치마크인 MUBenchPipe와 통합된 오용 분류 체계인 MUC를 사용하여 정적 API 오용 검출기의 첫 번째 체계적 평가를 제시한다. 연구 결과 기존 검출기들이 빈번한 사용 패턴에 과도하게 의존함으로써 정밀도와 재현율이 낮은 것으로 드러났으며, 검출 정확도를 향상시키기 위해 다양한 사용 예제를 통합한 모델 개발이 필요하다고 제안한다.

ABSTRACT

Application Programming Interfaces (APIs) often have usage constraints, such as restrictions on call order or call conditions. API misuses, i.e., violations of these constraints, may lead to software crashes, bugs, and vulnerabilities. Though researchers developed many API-misuse detectors over the last two decades, recent studies show that API misuses are still prevalent. Therefore, we need to understand the capabilities and limitations of existing detectors in order to advance the state of the art. In this paper, we present the first-ever qualitative and quantitative evaluation that compares static API-misuse detectors along the same dimensions, and with original author validation. To accomplish this, we develop MUC, a classification of API misuses, and MUBenchPipe, an automated benchmark for detector comparison, on top of our misuse dataset, MUBench. Our results show that the capabilities of existing detectors vary greatly and that existing detectors, though capable of detecting misuses, suffer from extremely low precision and recall. A systematic root-cause analysis reveals that, most importantly, detectors need to go beyond the naive assumption that a deviation from the most-frequent usage corresponds to a misuse and need to obtain additional usage examples to train their models. We present possible directions towards more-powerful API-misuse detectors.

연구 동기 및 목표

• 결코 사라지지 않는 API 오용 문제를 해결하기 위해 수십 년에 걸친 검출기 개발에도 불구하고 지속적인 문제를 다루기 위해.
• 정적 API 오용 검출기를 비교 평가하기 위한 표준화되고 재현 가능한 평가 프레임워크를 구축하기 위해.
• 정성적 및 정량적 분석을 통해 기존 검출기의 핵심 한계를 규명하기 위해.
• 향후 API 오용 검출 기법을 향상시키기 위한 실질적인 통찰을 제공하기 위해.
• 정확성과 관련성 확보를 위해 결과의 정확성을 검증하기 위해 원저자들과의 협업을 수행하기 위해.

제안 방법

• 사용 제약 조건(예: 호출 순서, 조건 등)을 기반으로 한 API 오용의 포괄적인 분류 체계인 MUC를 개발하였다.
• 다양한 프로그래밍 언어와 라이브러리에 걸쳐 실제 세계의 API 오용 예제를 수록한 정제된 데이터셋인 MUBench를 구축하였다.
• MUBench 데이터셋을 사용하여 검출기를 평가하기 위한 자동화된 벤치마크 파이프라인인 MUBenchPipe를 설계하였다.
• 정밀도, 재현율, 임의의 양성 비율 등 다양한 차원에서 표준화된 평가를 수행하였다.
• 실제 오용 의미론과 대비하여 검출 패턴을 비교함으로써 검출기 실패의 근본 원인을 분석하였다.
• 결과의 정확한 해석을 확보하기 위해 원래 검출기 개발자들을 평가 과정에 참여시켰다.

실험 결과

연구 질문

• RQ1 다양한 오용 유형 범주에서 기존 정적 API 오용 검출기의 정밀도 및 재현율은 어떻게 평가되는가?
• RQ2 현재 검출기에서 양성 오류와 음성 오류가 발생하는 주요 원인은 무엇인가?
• RQ3 검출기들이 정확성의 지표로 빈번한 사용 패턴을 얼마나 많이 활용하고 있는가?
• RQ4 다른 프로그래밍 언어와 API 라이브러리 간에 검출기의 능력은 어떻게 다름이 있는가?
• RQ5 API 오용 검출 정확도를 크게 향상시키기 위해 어떤 개선이 필요한가?

주요 결과

• 기존 API 오용 검출기들은 대부분의 벤치마크에서 평균 F1 점수가 0.5 이하로 매우 낮은 정밀도와 재현율을 보였다.
• 검출기들은 흔한 호출 시퀀스에 과도하게 의존함으로써 흔하지 않은 사용 패턴을 잘못 오용으로 분류하는 경우가 빈번히 발생한다.
• 성능이 열악한 근본 원인은 가장 흔한 사용 방식에서 벗어나면 항상 잘못된 것으로 간주한다는 단순한 가정에 있다.
• 가장 흔한 패턴 외에도 다양한 사용 예제를 통합한 검출기들은 검출 정확도가 크게 향상됨을 보였다.
• 저자 검증 결과, 많은 것으로 보고된 오용 사례들이 실제로는 정상적인 사용 패턴임을 확인하여, 더 나은 학습 데이터가 필요함을 시사한다.
• 본 연구는 현재 모델의 심각한 격차를 규명한다: 구문적 또는 빈도 기반 히وري스틱을 초월해 의미적 정확성을 모델링할 수 있는 메커니즘이 부족하다.