[论文解读] A Fast Lightweight Time-Series Store for IoT Data

Daniel Waddington, Changhui Lin|arXiv (Cornell University)|May 4, 2016

Advanced Data Storage Technologies参考文献 8被引用 3

一句话总结

本文提出轻量级时序存储（LTSS），一种针对物联网工作负载优化的高性能、内存高效时序数据库。通过结合日志结构化存储引擎、内存中分层索引、运行时排序以及多核优化的流水线架构，LTSS 在普通硬件上实现了每秒超过 400 万个记录的写入吞吐量，同时保持与 SQLite3 和 PostgreSQL 相当或更优的 SQL 查询性能，即使在并发写入负载下亦表现优异。

ABSTRACT

With the advent of the Internet-of-Things (IoT), handling large volumes of time-series data has become a growing concern. Data, generated from millions of Internet-connected sensors, will drive new IoT applications and services. A key requirement is the ability to aggregate, preprocess, index, store and analyze data with minimal latency so that time-to-insight can be reduced. In the future, we expect real-time data collection and analysis to be performed both on small devices (e.g., in hubs and appliances) as well in server-based infrastructure. The ability to localize sensitive data to the home, and thus preserve privacy, is a key driver for small-device deployment. In this paper, we present an efficient architecture for time-series data management that provides a high data ingestion rate, while still being sufficiently lightweight that it can be deployed in embedded environments or small virtual machines. Our solution strives to minimize overhead and explores what can be done without complex indexing schemes that typically, for performance reasons, must be held in main memory. We combine a simple in-memory hierarchical index, log-structured store and in-flight sort, with a high-performance data pipeline architecture that is optimized for multicore platforms. We show that our solution is able to handle streaming insertions at over 4 million records per second (on a single x86 server) while still retaining SQL query performance better than or comparable to existing RDBMS.

研究动机与目标

• 解决物联网环境中因海量传感器数据生成而带来的高吞吐量、低延迟时序数据管理日益增长的需求。
• 克服传统关系型数据库（RDBMS）和 NoSQL 系统在高写入速率下性能受限的问题，这些系统因复杂的索引结构和内存占用高的设计而难以扩展。
• 实现在资源受限的嵌入式环境（如树莓派）中的部署，同时保持高性能和 SQL 兼容性。
• 通过避免使用主内存中的 B+ 树或 LSM 树索引，最小化内存开销，转而采用轻量级内存中分层索引和持久化日志结构化存储。
• 在支持实时数据写入的同时，也能以低延迟处理复杂分析型 SQL 查询，即使在并发写入负载下亦表现稳定。

提出的方法

• 设计面向多核 CPU 和并行 I/O 的软件流水线架构，以最大化吞吐量。
• 使用日志结构化存储引擎，最小化随机写入，改善写入放大的问题，尤其在 NVMe SSD 上表现更优。
• 实现内存中分层索引，高效支持时间范围查询，而无需在 DRAM 中构建完整的 B+ 树结构。
• 在数据写入过程中实施运行时排序，以保持数据有序，从而支持高效的范围扫描和滑动窗口聚合。
• 在数据写入时计算复合时间元数据（如天、月等），以减少查询时的计算开销，提升基于时间的分析性能。
• 采用单一流水线架构统一写入与查询处理，减少上下文切换并提升缓存局部性。

实验结果

研究问题

• RQ1 轻量级、适合嵌入式部署的时序存储能否显著超越现有 RDBMS 和 NoSQL 解决方案的写入吞吐量？
• RQ2 在尽量减少对主内存索引依赖的前提下，性能能提升到何种程度，同时仍能支持复杂 SQL 查询？
• RQ3 该系统对乱序数据的容忍度如何？这是物联网网络中因网络延迟波动而常见的问题。
• RQ4 在高并发写入负载下，系统能否维持低延迟的 SQL 查询性能，尤其与采用锁机制的传统 RDBMS 相比？
• RQ5 在低功耗嵌入式平台（如树莓派 2）上部署此类系统是否可行，同时仍能实现可接受的性能表现？

主要发现

• 在配备 10G 网卡的单台 x86 服务器上，LTSS 实现了超过每秒 400 万个记录的峰值写入速率，相比现有 RDBMS 解决方案提升约 3 至 4 倍。
• 在树莓派 2 上，LTSS 实现了约每秒 70,000 个记录的写入速率，证明其在嵌入式和资源受限环境中的可行性。
• LTSS 保持了始终优于 SQLite3 和 PostgreSQL 的 SQL 查询性能，尤其在时间筛选型查询（如按月或时间窗口过滤）中表现更优。
• 系统展现出强大的乱序数据容忍能力：在 1:100 的延迟比下，吞吐量仅轻微下降至 844.8 KPPS（理想条件下为 981.5 KPPS），表明对网络抖动具有较强鲁棒性。
• 在并发写入与查询负载下（最高达每秒 100 万个事件），查询性能波动小于 1%，表明对读写竞争具有高度鲁棒性。
• 传统 RDBMS（如 SQLite3 和 PostgreSQL）因锁机制导致在负载下性能严重下降，甚至在低查询率下也出现数据包丢失，而 LTSS 通过无锁设计避免了此类问题。