[論文レビュー] Benchmarking Time Series Databases with IoTDB-Benchmark for IoT Scenarios

Rui Liu, Jun Yuan+1 more|arXiv (Cornell University)|Jan 24, 2019

Time Series Analysis and Forecasting被引用数 12

ひとこと要約

本稿では、IoT環境における時系列データベース（TSDB）の評価を標準化するためのフレームワークであるIoTDB-Benchmarkを提示する。本フレームワークは、多様なデータ分布、順不同およびバッチインジェスト、システムリソース監視をサポートする。InfluxDB、OpenTSDB、KairosDB、TimescaleDBを評価し、クエリパフォーマンスではInfluxDBが優れていることが判明。同時に、包括的な分析のためのシステムリソース使用量の測定も実施した。

ABSTRACT

With the wide application of time series databases (TSDBs) in big data fields like cluster monitoring and industrial IoT, there have been developed a number of TSDBs for time series data management. Different TSDBs have test reports comparing themselves with other databases to show their advantages, but the comparisons are typically based on their own tools without using a common well-recognized test framework. To the best of our knowledge, there is no mature TSDB benchmark either. With the goal of establishing a standard of evaluating TSDB systems, we present the IoTDB-Benchmark framework, specifically designed for TSDB and IoT application scenarios. We pay close attention to some special data ingestion scenarios and summarize 10 basic queries types. We use this benchmark to compare four TSDB systems: InfluxDB, OpenTSDB, KairosDB and TimescaleDB. Our benchmark framework/tool not only measures performance metrics but also takes system resource consumption into consideration.

研究の動機と目的

• IoTアプリケーションにおける時系列データベース（TSDB）のための標準的で広く認識されたベンチマークの欠如に対処すること。
• 順不同データインジェストや不規則な時系列分布を含む、現実的で多様なワークロードをサポートするベンチマークを設計すること。
• 包括的なシステム分析のため、CPU、メモリ、ディスクなどのシステムリソース消費をパフォーマンス評価に組み込むこと。
• テスト設定、結果、システムメトリクスを記録できる再利用可能で設定可能なベンチマークツールを提供し、再現可能性とさらなる分析を可能にすること。
• 実世界のIoTワークロード下で、複数のTSDB間での公平で繰り返し可能かつ包括的なパフォーマンス比較を可能にすること。

提案手法

• 現実の時系列の多様性を反映するため、可変なデータ分布（例：正弦波、方形波、のこぎり波にガウスノイズを加えたもの）をサポートする、カスタマイズ可能なベンチマークフレームワークの設計。
• 産業用IoTデータのパターンを模倣するため、順序通りおよび順不同のバッチデータインジェストをサポートするデータジェネレータの実装。
• IoTワークロードに関連する時間範囲、集計、ダウンサンプリング操作をカバーする10種類の基本的なクエリタイプの定義。
• テスト実行中にシステムリソースメトリクス（CPU、メモリ、ディスク）を収集・永続化するようにベンチマークツールを拡張し、パフォーマンスと効率の分析を可能にする。
• トレーサビリティと高度な分析を可能にするために、関係型データベースを用いてベンチマーク設定、テスト結果、システムメトリクスを管理する。
• 4つのTSDB（InfluxDB、OpenTSDB、KairosDB、TimescaleDB）を、さまざまなワークロードとデータ分布下で評価するためにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 周期的、不規則的、ノイズを含む信号のような、多様な時系列データ分布下で、異なるTSDBのパフォーマンスはどのように異なるか？
• RQ2 TSDBにおける順序通りと順不同のデータインジェストワークロードの間で、パフォーマンスにどのような差が生じるか？
• RQ3 同じワークロードとデータ量下で、TSDB間のシステムリソース消費（CPU、メモリ、ディスク）はどのように変動するか？
• RQ4 産業用IoTシナリオにおいて、インジェストおよびクエリワークロードの両方で最良の総合パフォーマンスを示すTSDBはどれか？
• RQ5 統一されたベンチマークフレームワークは、複雑で混合されたワークロードを効果的にサポートでき、再現可能で分析可能な結果を提供できるか？

主な発見

• InfluxDBは、集計およびダウンサンプリング操作を含む大多数のクエリワークロードで、OpenTSDB、KairosDB、TimescaleDBを上回るパフォーマンスを示した。
• OpenTSDBとTimescaleDBは、多くのクエリシナリオで同等のパフォーマンスを示したが、両者ともInfluxDBに比べて速度で劣っていた。
• KairosDBは時間範囲クエリを除き、ほとんどのクエリタイプでパフォーマンスが低く、クエリ実行エンジンの非効率性が示唆された。
• システムリソース監視の結果、100万件の時系列データテスト中、InfluxDBは約6％のCPU使用率を維持し、高いディスク使用量を示した。これは安定した動作であるが、リソース集約的であることを示している。
• ベンチマークツールは、テスト設定、パフォーマンスメトリクス、システムリソースデータを効果的に収集・永続化でき、トレーサブルで分析可能な評価を可能にした。
• フレームワークは、関係型データベースを用いたベンチマークメタデータの管理の実現可能性を示し、再現性と長期的分析の向上を実現した。