[論文レビュー] A Fast Lightweight Time-Series Store for IoT Data

Daniel Waddington, Changhui Lin|arXiv (Cornell University)|May 4, 2016

Advanced Data Storage Technologies参考文献 8被引用数 3

ひとこと要約

本論文では、IoTワークロードに最適化された、高パフォーマンスでメモリ効率の良い時系列データベース「Lightweight Time-Series Store (LTSS)」を提示する。ログ構造のストレージエンジン、メモリ内階層インデックス、インフィルトソーティング、マルチコア最適化パイプラインアーキテクチャを組み合わせることで、LTSSは、コンsumerハードウェア上でも1秒あたり400万件を超えるレコードのインジェストを達成し、同時にSQLite3 や PostgreSQL と同等またはそれ以上のSQLクエリパフォーマンスを維持する。これは、同時に書き込みが発生する状況下でも同様に成立する。

ABSTRACT

With the advent of the Internet-of-Things (IoT), handling large volumes of time-series data has become a growing concern. Data, generated from millions of Internet-connected sensors, will drive new IoT applications and services. A key requirement is the ability to aggregate, preprocess, index, store and analyze data with minimal latency so that time-to-insight can be reduced. In the future, we expect real-time data collection and analysis to be performed both on small devices (e.g., in hubs and appliances) as well in server-based infrastructure. The ability to localize sensitive data to the home, and thus preserve privacy, is a key driver for small-device deployment. In this paper, we present an efficient architecture for time-series data management that provides a high data ingestion rate, while still being sufficiently lightweight that it can be deployed in embedded environments or small virtual machines. Our solution strives to minimize overhead and explores what can be done without complex indexing schemes that typically, for performance reasons, must be held in main memory. We combine a simple in-memory hierarchical index, log-structured store and in-flight sort, with a high-performance data pipeline architecture that is optimized for multicore platforms. We show that our solution is able to handle streaming insertions at over 4 million records per second (on a single x86 server) while still retaining SQL query performance better than or comparable to existing RDBMS.

研究の動機と目的

• 大量のセンサー生成データを扱うIoT環境における、高スルーレート・低レイテンシーな時系列データ管理の増大するニーズに対応すること。
• 複雑なインデクシングとメモリ集約的な設計により、高インジェストレートに対応できない伝統的なRDBMSおよびNoSQLシステムのパフォーマンス制限を克服すること。
• リソース制限のある組み込み環境（例：Raspberry Pi）へのデプロイを可能にし、高いパフォーマンスとSQL互換性を維持すること。
• メインメモリ上のB+-treeやLSM-treeインデクシングを回避することで、メモリオーバーヘッドを最小限に抑える。代わりに、軽量なメモリ内階層インデックスと永続的なログ構造ストレージを採用する。
• リアルタイムのデータインジェストと、低レイテンシーな複雑な分析SQLクエリの両方を、同時に高パフォーマンスで実行できること。特に、同時に複数の書き込みが発生する状況下でも同様に成立する。

提案手法

• マルチコアCPUと並列I/Oを最適化したソフトウェアパイプラインアーキテクチャを設計し、スルーレートを最大化する。
• ランダムライトを最小限に抑えて、特にNVMe SSD上でライトアンプリフィケーションを改善するため、ログ構造ストレージエンジンを採用する。
• DRAM上に完全なB+-tree構造を必要とせず、時間範囲クエリを効率的にサポートできるメモリ内階層インデックスを実装する。
• インジェスト中にインフィルトソーティングを適用することで、順序を維持し、効率的な範囲スキャンとスライディングウインドウ集計を可能にする。
• インジェスト時に複合時間メタデータ（例：日、月）を生成することで、クエリ時の計算を削減し、時間ベースの分析パフォーマンスを向上させる。
• インジェストとクエリ処理を統合する単一のパイプラインアーキテクチャを採用することで、コンテキストスイッチの削減とキャッシュローカリティの向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 軽量で組み込み環境に適した時系列ストアは、既存のRDBMSおよびNoSQLソリューションよりも著しく高いインジェストレートを達成できるか？
• RQ2 メインメモリ上のインデクシングに依存を最小限に抑えることで、複雑なSQLクエリをサポートしつつ、パフォーマンスをどの程度向上できるか？
• RQ3 ネットワーク遅延のばらつきが生じるIoTネットワークで一般的に見られる、順序が入れ替わったデータに対して、システムはどの程度耐性を示すか？
• RQ4 特にロック機構を備えた伝統的なRDBMSと比較して、高並列書き込み負荷下でも低レイテンシーなSQLクエリパフォーマンスを維持できるか？
• RQ5 Raspberry Pi 2 などの低消費電力組み込みプラットフォームに、このようなシステムをデプロイすることが可能か？また、妥当なパフォーマンスを達成できるか？

主な発見

• LTSSは、10G NICを搭載したx86サーバー1台で、ピークインジェストレートとして1秒あたり400万件を超える性能を達成した。これは、既存のRDBMSソリューションと比較して3倍から4倍の改善である。
• Raspberry Pi 2 では、1秒あたり約7万件のインジェストを達成し、組み込みおよびリソース制限のある環境への実用性を示した。
• LTSSは、特に月や時間窓でフィルタリングするような時間選択的クエリにおいて、SQLite3 や PostgreSQL よりも一貫して優れたSQLクエリパフォーマンスを維持した。
• システムは高い順序入れ替え耐性を示した：1:100の遅延比においても、スルーレートはわずかに低下し、981.5 KPPS（理想状態）から844.8 KPPSに低下した。これはネットワークジターレジリエンスを示している。
• 同時に100万件/秒のインジェストとクエリ負荷がかかる状況下でも、クエリパフォーマンスの変動は1%未満に抑えられ、リード・ライト競合に対する強靭性を示した。
• 伝統的なRDBMS（SQLite3 や PostgreSQL）は、ロック機構のため、負荷がかかると深刻なパフォーマンス劣化を示し、低クエリレートでもパケット損失が発生した。一方、LTSSはロックフリー設計により、この問題を回避した。