[论文解读] A Cloud-based Service for Real-Time Performance Evaluation of NoSQL Databases

Omar Almootassem, Syed Hamza Husain+2 more|arXiv (Cornell University)|May 23, 2017

Cloud Computing and Resource Management被引用 8

一句话总结

本文提出了一种基于云的网络服务，可实现对 MongoDB、DynamoDB、CouchDB 和 Firebase 等 NoSQL 数据库的实时、交互式性能评估。通过允许用户选择测试类型和目标数据库，该系统能够实时执行基准测试，并在结果中展示历史数据和地理测试位置，为静态基准报告提供了一种动态替代方案。

ABSTRACT

We have created a cloud-based service that allows the end users to run tests on multiple different databases to find which databases are most suitable for their project. From our research, we could not find another application that enables the user to test several databases to gauge the difference between them. This application allows the user to choose which type of test to perform and which databases to target. The application also displays the results of different tests that were run by other users previously. There is also a map to show the location where all the tests are run to give the user an estimate of the location. Unlike the orthodox static tests and reports conducted to evaluate NoSQL databases, we have created a web application to run and analyze these tests in real time. This web application evaluates the performance of several NoSQL databases. The databases covered are MongoDB, DynamoDB, CouchDB, and Firebase. The web service is accessible from: nosqldb.nextproject.ca.

研究动机与目标

• 解决在多个系统之间对比 NoSQL 数据库性能时缺乏交互式、实时工具的问题。
• 提供一个动态平台，使用户能够同时对多个 NoSQL 数据库运行自定义性能测试。
• 聚合并展示以往测试的结果，以支持基于数据的数据库选择决策。
• 通过展示测试执行节点的地理分布，提升透明度，辅助延迟估算。
• 提供一种实时、基于网页的界面，其可用性和响应性优于传统静态基准报告。

提出的方法

• 该系统作为托管在云上的网络应用程序实现，可通过公共 URL 访问。
• 用户可从预定义的测试类型（例如，插入、读取、更新、删除）中进行选择，并指定目标 NoSQL 数据库。
• 测试通过基于云的基础设施实时执行，确保条件一致且可复现。
• 性能指标（例如，延迟、吞吐量）在每次测试运行后立即收集并可视化。
• 历史测试结果被存储并公开提供，供用户和配置之间进行比较。
• 地理地图显示了测试执行节点的物理位置，以帮助估算网络延迟。

实验结果

研究问题

• RQ1 如何使 NoSQL 数据库的实时性能评估更具交互性并便于终端用户使用？
• RQ2 在常见工作负载下，主流 NoSQL 数据库之间的性能差异是什么？
• RQ3 共享的、基于云的平台能否提升 NoSQL 基准测试的透明度和可复现性？
• RQ4 测试节点的地理分布如何影响感知的数据库性能？
• RQ5 实时、用户驱动的测试在多大程度上优于静态、预先计算的基准报告？

主要发现

• 该服务实现了对四种主流 NoSQL 数据库（MongoDB、DynamoDB、CouchDB 和 Firebase）的实时性能评估。
• 用户可对多个数据库运行并比较测试，配置工作负载后可立即获得反馈。
• 历史测试结果公开可访问，使用户能够比较性能趋势并做出明智决策。
• 该系统提供地理地图，显示测试执行节点的物理位置，有助于延迟估算。
• 该平台为静态基准测试提供了动态替代方案，提升了可用性和现实相关性。
• 摘要中未报告任何具体的定量性能指标（例如延迟值或吞吐量速率）。