[논문 리뷰] Opaque Response Generation Enabling Automatic Creation of Virtual Services for Service Virtualisation

Miao Du|arXiv (Cornell University)|2016. 08. 17.

Software System Performance and Reliability참고 문헌 4인용 수 4

한 줄 요약

이 논문은 전문 지식이나 프로토콜 문서가 없이 가상 서비스 생성이 가능한 자동 서비스 가상화를 위한 투명하지 않은 응답 생성 방법을 제안한다. 상호작용을 군집화하고, 들어오는 요청을 유사한 기록된 요청과 매칭하며, 이를 바탕으로 실시간으로 정확한 응답을 생성하는 방식으로, 평균 정확도가 99% 이상을 기록하여 DevOps에 유용한, 실제 환경과 유사한 테스트 환경을 가능하게 한다.

ABSTRACT

Service virtualisation is a method to create virtual service models that can mimic interaction behaviors between a system under test and the target system. With service virtualisation, the development team can get access to the production-like conditions whenever and however many times they need, enabling frequent and comprehensive testing. Previous techniques for service virtualisation have relied on explicitly modelling the target services by a service expert and require detailed knowledge of message protocol and structure. However, neither of these are necessarily available. In this thesis, we introduce our novel opaque response generation approach. This approach enables services to be virtualised automatically without any expert knowledge or documentation of system protocol and interaction behaviours. Given a collection of interactions exchanged between a system under test and a target real service, our approach can 1) organise the same type of interactions into the same cluster and derive a cluster prototype for each cluster; 2) search a given incoming request for its the most similar request in the interaction library; 3) learn knowledge from the incoming request and the recorded interaction; and 4) generate a response. A framework and proof-of-concept implementation of our opaque response generation approach is described. Experimental results show our opaque response generation approach is able to automatically generate accurate responses in real time with an accuracy rate over 99% on average.

연구 동기 및 목표

• 외부 서비스에 의존함으로써 소프트웨어 시스템을 독립적으로 테스트하는 데 발생하는 과제를 해결하기 위해.
• 서비스 가상화에서 전문가의 역공학 분석이나 상세한 프로토콜 문서가 필요 없도록 하기 위해.
• 관찰된 상호작용만을 사용하여 자동으로 실시간으로 정확한 가상 서비스 응답을 생성하기 위해.
• 수집된 네트워크 트레이스를 기반으로 실시간 서비스 에뮬레이션을 통해 지속적 통합 및 DevOps 관행을 지원하기 위해.

제안 방법

• 유사도 측정 기반으로 기록된 트래픽에서 유사한 상호작용을 군집화하여 그룹화하기.
• 각 상호작용 군집에 대해 일반적인 행동을 대표하는 군집 원형(예: 중심점)을 도출하기.
• 유사도 기반 검색 기반 기반으로 들어오는 요청을 가장 유사한 기록된 요청과 매칭하기.
• 매칭된 요청과 그에 관련된 응답을 기반으로 새로운 맥락에 적합한 응답을 생성하기.
• 응답 정확도와 강건성을 향상시키기 위해 공감대 원형 접근법 적용하기.
• 실시간 서비스 에뮬레이션에서 접근법을 검증하기 위해 네트워크 트레이스 데이터를 사용한 개념 검증 프레임워크 구현하기.

실험 결과

연구 질문

• RQ1 메시지 프로토콜이나 시스템 행동에 대한 사전 지식 없이도 서비스 가상화를 달성할 수 있는가?
• RQ2 관찰된 상호작용 트레이스만을 사용하여 가상 서비스가 얼마나 정확하게 응답을 생성할 수 있는가?
• RQ3 실시간으로 효율적이고 정확한 응답 생성을 가능하게 하는 군집화 및 매칭 기법은 무엇인가?
• RQ4 투명하지 않은 응답 생성 접근법은 동적 또는 복잡한 상호작용 워크로드 하에서 어떻게 확장성과 성능을 유지하는가?
• RQ5 다양한 서비스 유형과 상호작용 패턴 전반에서 높은 정확도를 유지를 할 수 있는가?

주요 결과

• 투명하지 않은 응답 생성 접근법은 실시간 테스트 환경에서 평균 응답 정확도가 99% 이상을 기록한다.
• 이 방법은 프로토콜 문서나 전문가의 역공학 분석 없이도 정확한 가상 서비스 응답을 성공적으로 생성한다.
• 군집 중심점 및 공감대 원형 기법은 응답 생성의 효율성과 강건성을 크게 향상시킨다.
• 수집된 네트워크 트레이스를 기반으로 실제 환경과 유사한 서비스 행동을 에뮬레이션함으로써 지속적이고 온디맨드 테스트를 지원한다.
• 이러한 접근법은 트위터 API 호출과 같은 다양한 서비스 상호작용, 예를 들어 사용자 타임라인, 트윗 검색, 친구 관계 등에 효과적으로 적용된다.
• 실행 구현은 DevOps 환경에서의 실현 가능성과 확장성을 입증하여, 생산 시스템에 접근할 수 없더라도 빈번하고 종합적인 테스트를 가능하게 한다.