[논문 리뷰] A Cloud-based Service for Real-Time Performance Evaluation of NoSQL Databases

Omar Almootassem, Syed Hamza Husain외 2명|arXiv (Cornell University)|2017. 05. 23.

Cloud Computing and Resource Management인용 수 8

한 줄 요약

이 논문은 MongoDB, DynamoDB, CouchDB 및 Firebase와 같은 NoSQL 데이터베이스의 실시간, 상호작용형 성능 평가를 가능하게 하는 클라우드 기반 웹 서비스를 제시한다. 사용자가 테스트 유형과 대상 데이터베이스를 선택할 수 있도록 하여, 시스템이 실시간으로 벤치마크를 실행하고 결과를 이력 데이터 및 지리적 테스트 위치와 함께 표시함으로써 정적 벤치마크 보고서에 비해 동적인 대안을 제공한다.

ABSTRACT

We have created a cloud-based service that allows the end users to run tests on multiple different databases to find which databases are most suitable for their project. From our research, we could not find another application that enables the user to test several databases to gauge the difference between them. This application allows the user to choose which type of test to perform and which databases to target. The application also displays the results of different tests that were run by other users previously. There is also a map to show the location where all the tests are run to give the user an estimate of the location. Unlike the orthodox static tests and reports conducted to evaluate NoSQL databases, we have created a web application to run and analyze these tests in real time. This web application evaluates the performance of several NoSQL databases. The databases covered are MongoDB, DynamoDB, CouchDB, and Firebase. The web service is accessible from: nosqldb.nextproject.ca.

연구 동기 및 목표

• 다양한 시스템 간 NoSQL 데이터베이스 성능을 비교하기 위한 상호작용형 실시간 도구의 부족을 해결하기 위해.
• 사용자가 동시에 여러 NoSQL 데이터베이스에서 사용자 정의 성능 테스트를 실행할 수 있는 동적 플랫폼을 제공하기 위해.
• 이전 테스트에서 수집한 결과를 집계하고 표시하여 데이터 기반의 데이터베이스 선택을 지원하기 위해.
• 지리적 분포를 공개함으로써 투명성을 높이고 지연 시간 추정에 기여하기 위해.
• 기존 정적 벤치마크 보고서에 비해 사용성과 반응성에서 뛰어난 실시간 웹 기반 인터페이스를 제공하기 위해.

제안 방법

• 시스템은 공개 URL을 통해 접근 가능한 클라우드 호스팅 웹 애플리케이션으로 구현된다.
• 사용자는 사전 정의된 테스트 유형(예: 삽입, 읽기, 업데이트, 삭제) 중에서 선택하고 대상 NoSQL 데이터베이스를 지정할 수 있다.
• 테스트는 클라우드 기반 인프라를 사용하여 실시간으로 실행되어 일관되고 재현 가능한 조건을 확보한다.
• 성능 메트릭(예: 지연 시간, 처리량)은 각 테스트 실행 후 즉시 수집되고 시각화된다.
• 이력 테스트 결과는 저장되어 사용자 간 및 구성 간 비교에 공개적으로 이용 가능하다.
• 지리적 지ap은 테스트 실행 노드의 물리적 위치를 표시하여 네트워크 지연 시간 추정에 도움을 준다.

실험 결과

연구 질문

• RQ1 어떻게 하면 NoSQL 데이터베이스의 실시간 성능 평가를 종료자에게 상호작용 가능하고 접근 가능하게 만들 수 있는가?
• RQ2 일반적인 워크로드 하에서 주요 NoSQL 데이터베이스 간 성능 차이는 무엇인가?
• RQ3 공유된 클라우드 기반 플랫폼이 NoSQL 벤치마크의 투명성과 재현 가능성에 기여할 수 있는가?
• RQ4 테스트 노드의 지리적 분포가 인식된 데이터베이스 성능에 어떤 영향을 미치는가?
• RQ5 실시간 사용자 주도 테스트가 정적 사전 계산된 벤치마크 보고서에 비해 어느 정도 뛰어나게 작용할 수 있는가?

주요 결과

• 이 서비스는 MongoDB, DynamoDB, CouchDB 및 Firebase를 포함한 네 가지 주요 NoSQL 데이터베이스의 실시간 성능 평가를 가능하게 한다.
• 사용자는 구성 가능한 워크로드로 여러 데이터베이스에서 테스트를 실행하고 즉각적인 피드백을 받을 수 있다.
• 이력 테스트 결과는 공개적으로 접근 가능하여 사용자가 성능 추세를 비교하고 정보 기반 결론을 내릴 수 있다.
• 시스템은 테스트 실행 노드의 물리적 위치를 보여주는 지도를 제공하여 지연 시간 추정에 기여한다.
• 플랫폼은 정적 벤치마크에 비해 동적인 대안을 제공하여 사용성과 실제 적용 가능성에서 향상된다.
• 개요에는 특정 정량적 성능 메트릭(예: 지연 시간 값 또는 처리량 비율)이 보고되지 않았다.