[논문 리뷰] Opaque Service Virtualisation: A Practical Tool for Emulating Endpoint Systems

Steve Versteeg, Miao Du외 4명|arXiv (Cornell University)|2016. 05. 21.

Software System Performance and Reliability참고 문헌 29인용 수 15

한 줄 요약

이 논문은 사전 프로토콜 지식 없이 메시지 트레이스를 사용하여 정확한 서비스 응답을 자동으로 생성하는 오paque 서비스 가상화 기법을 제안한다. 메시지 프로토타입을 유도하기 위해 수정된 Needleman-Wunsch 알고리즘을 적용한 다중 서열 정렬을 통해 기업 메시징 프로토콜을 99% 이상의 정확도로 에뮬레이션하며, 산업 현장에서 CA Service Virtualization에 성공적으로 통합되었다.

ABSTRACT

Large enterprise software systems make many complex interactions with other services in their environment. Developing and testing for production-like conditions is therefore a very challenging task. Current approaches include emulation of dependent services using either explicit modelling or record-and-replay approaches. Models require deep knowledge of the target services while record-and-replay is limited in accuracy. Both face developmental and scaling issues. We present a new technique that improves the accuracy of record-and-replay approaches, without requiring prior knowledge of the service protocols. The approach uses Multiple Sequence Alignment to derive message prototypes from recorded system interactions and a scheme to match incoming request messages against prototypes to generate response messages. We use a modified Needleman-Wunsch algorithm for distance calculation during message matching. Our approach has shown greater than 99% accuracy for four evaluated enterprise system messaging protocols. The approach has been successfully integrated into the CA Service Virtualization commercial product to complement its existing techniques.

연구 동기 및 목표

• 실제 백엔드 서비스에 접근할 수 없는 조건에서 실제 운영 환경과 유사한 조건에서 기업 시스템을 테스트하는 데 도전하는 데 목적을 둔다.
• 기존 서비스 가상화 도구의 한계를 극복하기 위해 명시적인 프로토콜 모델링이 필요하거나 알려진 프로토콜에 국한되는 것을 방지한다.
• 메시지 구조나 스키마에 대한 사전 지식 없이도 복잡한 기업 메시징 프로토콜을 자동으로 확장 가능하고 정확하게 에뮬레이션할 수 있도록 한다.
• 자주 발생하고 실시간으로 테스트가 필요한 DevOps 환경에서 실용적인 솔루션을 제공한다.
• 이 기법을 상용 제품에 통합하여 광범위한 산업 현장에서의 배포와 사용성을 지원한다.

제안 방법

• 실제 시스템 상호작용에서 메시지 트레이스를 캡처하여 대표적인 요청-응답 쌍을 수집한다.
• 유사한 메시지 간의 공통 패턴을 식별하기 위해 다중 서열 정렬(MSA)을 적용하여 각 작업 유형별 메시지 프로토타입을 추출한다.
• 수신된 요청과 메시지 프로토타입 간의 정렬 기반 거리를 계산하기 위해 수정된 Needleman-Wunsch 알고리즘을 사용하여 매칭을 수행한다.
• 프로토타입에서 메시지 필드를 가변성 또는 고정성으로 처리하기 위해 와일드카드를 사용하여 안정적이고 불안정한 메시지 구성 요소를 분리한다.
• 수신된 요청과 거리가 가장 짧은 프로토타입을 선택하여 응답 생성에 가장 적합한 매칭으로 간주한다.
• 매칭된 프로토타입 기반으로 응답을 생성함으로써, 프로토콜 역설계 없이도 실시간으로 정확한 에뮬레이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메시지 형식이나 프로토콜에 대한 사전 지식 없이도 메시지 트레이스를 사용하여 정확하고 프로토콜 독립적인 응답 모델을 자동으로 생성할 수 있는가?
• RQ2 수정된 Needleman-Wunsch 알고리즘을 적용한 다중 서열 정렬은 유사하지만 다양한 요청 메시지를 파생된 프로토타입에 매칭하는 데 얼마나 효과적인가?
• RQ3 이러한 접근 방식은 실제 기업 시스템에서 다양한 메시지 인코딩, 길이, 페이로드에 대해 얼마나 높은 정확도와 강건성을 달성할 수 있는가?
• RQ4 이 기법은 상용 도구에 성공적으로 통합되어 DevOps 환경에서 산업 현장에서의 확장성과 활용성을 확보할 수 있는가?
• RQ5 현실 테스트 시나리오에서 무상태 모델링 접근 방식의 한계는 무엇이며, 향후 확장 시 상태 기반 동작은 어떻게 모델링할 수 있는가?

주요 결과

• 이 방법은 기록된 메시지 트레이스만을 사용하여 네 가지 기업 메시징 프로토콜을 99% 이상의 정확도로 에뮬레이션하였다.
• 이 기법은 CA Service Virtualization에서 이전에 지원하지 않던 프로토콜의 에뮬레이션을 성공적으로 가능하게 하여 수동 프로토콜 모델링이 필요 없어졌다.
• 프로토타입에 와일드카드를 사용함으로써 메시지 길이나 경미한 구조적 차이가 있는 경우에도 강력한 매칭이 가능했다.
• 다양한 메시지 인코딩 및 작업 유형에서 뛰어난 성능을 보이며 실제 환경 조건에서의 강건성을 입증하였다.
• CA Service Virtualization에의 통합을 통해 수천 명의 사용자에게 배포되어 산업적 확장성과 실용적 유용성을 검증하였다.
• 높은 정확도에도 불구하고, 소규모 트랜잭션 라이브러리나 100% 정확도가 필요한 극단적인 케이스에서 사용자 개입이 여전히 필요로 하는 도전 과제가 남아 있다.