[논문 리뷰] Testing RESTful APIs: A Survey

Amid Golmohammadi, Man Zhang외 1명|arXiv (Cornell University)|2022. 12. 30.

Software System Performance and Reliability인용 수 7

한 줄 요약

이 종합 검토는 RESTful API 테스팅에 관한 92篇의 학술 논문을 분석하여 자동화된 테스팅의 기법, 도구, 과제를 분류한다. 주요 추세로는 2017년 이후 연구 관심의 급격한 증가, 블랙박스 테스팅의 지배적 우세, 외부 서비스, 데이터베이스, 스키마가 명시되지 않은 사항 등에 대한 열린 과제를 밝혀낸다.

ABSTRACT

In industry, RESTful APIs are widely used to build modern Cloud Applications. Testing them is challenging, because not only they rely on network communications, but also they deal with external services like databases. Therefore, there has been a large amount of research sprout in recent years on how to automatically verify this kind of web services. In this paper, we review the current state-of-the-art on testing RESTful APIs, based on an analysis of 92 scientific articles. This review categories and summarizes the existing scientific work on this topic, and discusses the current challenges in the verification of RESTful APIs.

연구 동기 및 목표

• RESTful API 자동화 테스팅 분야의 현재 최신 기술 상태를 체계적으로 개관하기 위해.
• 이 분야에서 사용된 연구 기법, 도구, 평가 관행을 식별하고 분류하기 위해.
• 외부 종속성과 스키마 제약 등에 관한 주요 과제와 연구 격차를 부각하기 위해.
• 이 주제에 관한 92편의 과학 논문을 체계적으로 분석함으로써 향후 연구를 지원하기 위해.

제안 방법

• 주요 학술 데이터베이스에서 92편의 동료 심사된 RESTful API 테스팅 논문을 대상으로 체계적인 문헌 검토를 수행하였다.
• 관련 연구를 누락하지 않도록 하기 위해 전방 및 후방 스노볼링 기법을 사용하였다.
• 선택 편향을 줄이고 포함 및 데이터 추출의 신뢰성을 높이기 위해 다수의 저자 간 공감 기반 절차를 적용하였다.
• 출판 추세, 테스팅 기법(블랙박스 대비 화이트박스), 평가 지표, 도구 기능 기반으로 연구를 분류하였다.
• 검토된 문헌에서 보고된 주요 문제와 제약을 주제 코드 분석을 통해 연구 과제를 분석하였다.
• 테스트 케이스 생성 및 커버리지 지표 등 주요 기능을 중심으로, 오픈소스 프로토타입 및 상용 도구의 지원 수준을 평가하였다.

실험 결과

연구 질문

• RQ1 RQ1: 매년 RESTful API 테스팅에 관한 논문은 몇 편이 출판되었는가?
• RQ2 RQ2: 이러한 논문들은 어떤 학술 행사나 학술지에 출판되었는가?
• RQ3 RQ3: 문헌에서 RESTful API 테스팅에 가장 흔한 기여는 무엇인가?
• RQ4 RQ4: 테스팅 기법의 효과성을 평가하는 데 사용되는 지표는 무엇인가?
• RQ5 RQ5: RESTful API에 일반적으로 사용되는 자동화된 테스팅 기법은 무엇인가?

주요 결과

• 2017년 이후 RESTful API 테스팅에 대한 연구 관심이 기하급수적으로 증가하였으며, 주요 소프트웨어 공학 학술 행사에서 출판 수가 급격히 증가하였다.
• 블랙박스 테스팅이 문헌에서 지배적이다. 많은 접근법이 퍼저 기반 테스트 생성 및 API 사양 분석에 의존한다.
• RESTful API의 자동화된 화이트박스 테스팅을 지원하는 도구는 오직 하나인 EvoMaster뿐이며, 이는 깊이 있는 코드 수준 테스팅에 대한 연구 격차를 시사한다.
• 데이터베이스 및 제3자 서비스와 같은 외부 종속성 처리가 여전히 주요 과제이며, 상태 종속성이 추론하기 어려운 블랙박스 테스팅 환경에서 특히 그렇다.
• 공식적으로 문서화되지 않은 데이터 제약 조건을 가진 스키마(즉, 스킴라 미기입)는 테스트 생성 및 커버리지에 심각한 도전 과제를 안기며, 이 문제를 다루는 도구는 소수에 불과하다.
• 오픈소스 프로토타입은 존재하지만 대부분의 도구가 NoSQL 데이터베이스(예: MongoDB)와 같은 현대형 데이터 스토어를 지원하지 않아 실용적 적용 범위가 제한된다.