[논문 리뷰] Benchmarking Time Series Databases with IoTDB-Benchmark for IoT Scenarios

Rui Liu, Jun Yuan외 1명|arXiv (Cornell University)|2019. 01. 24.

Time Series Analysis and Forecasting인용 수 12

한 줄 요약

이 논문은 IoT 환경에서 시계열 데이터베이스(TSDB)를 평가하기 위한 표준화된 프레임워크인 IoTDB-Benchmark을 제시한다. 이 프레임워크는 다양한 데이터 분포, 순서가 어긋난 데이터 및 배치 입력, 시스템 자원 모니터링을 지원한다. InfluxDB, OpenTSDB, KairosDB, TimescaleDB를 평가하여 InfluxDB가 쿼리 성능에서 뛰어나며, 종합적인 분석을 위해 시스템 자원 사용량도 측정하였다.

ABSTRACT

With the wide application of time series databases (TSDBs) in big data fields like cluster monitoring and industrial IoT, there have been developed a number of TSDBs for time series data management. Different TSDBs have test reports comparing themselves with other databases to show their advantages, but the comparisons are typically based on their own tools without using a common well-recognized test framework. To the best of our knowledge, there is no mature TSDB benchmark either. With the goal of establishing a standard of evaluating TSDB systems, we present the IoTDB-Benchmark framework, specifically designed for TSDB and IoT application scenarios. We pay close attention to some special data ingestion scenarios and summarize 10 basic queries types. We use this benchmark to compare four TSDB systems: InfluxDB, OpenTSDB, KairosDB and TimescaleDB. Our benchmark framework/tool not only measures performance metrics but also takes system resource consumption into consideration.

연구 동기 및 목표

• IoT 애플리케이션에서 시계열 데이터베이스(TSDB)에 대한 표준화되고 널리 인식되는 벤치마크의 부족을 해결하기 위해.
• 순서가 어긋난 데이터 입력과 비정규적인 시계열 분포를 포함한 현실적이고 다양한 워크로드를 지원하는 벤치마크를 설계하기 위해.
• 종합적인 시스템 분석을 위한 성능 평가에 시스템 자원 소비(CPU, 메모리, 디스크)를 통합하기 위해.
• 테스트 구성, 결과 및 시스템 메트릭을 기록하여 재현 가능하고 향후 분석이 가능한 재사용 가능하고 구성 가능한 벤치마크 도구를 제공하기 위해.
• 실제 IoT 워크로드 하에서 여러 TSDB 간에 공정하고 반복 가능하며 종합적인 성능 비교를 가능하게 하기 위해.

제안 방법

• 실제 시계열의 다양성을 반영하기 위해 구성 가능한 데이터 분포(예: 가우시안 노이즈가 첨가된 사인파, 정사각파, 이쑤날파 등)를 지원하는 벤치마크 프레임워크 설계.
• 산업용 IoT 데이터 패턴을 시뮬레이션하기 위해 순서가 정렬된 경우와 어긋난 경우 모두를 지원하는 배치 데이터 입력을 구현한 데이터 생성기 개발.
• IoT 워크로드에 관련된 시간 범위, 집계, 다운샘플링 연산을 포함하는 10종의 기본 쿼리 유형 정의.
• 테스트 실행 중에 시스템 자원 메트릭(CPU, 메모리, 디스크)을 수집하고 영구 저장하여 성능 및 효율성 분석을 가능하게 하기 위해 벤치마크 도구 확장.
• 추적 가능성과 고급 분석을 위해 벤치마크 구성, 테스트 결과 및 시스템 메트릭을 관리하기 위해 관계형 데이터베이스 사용.
• 다양한 워크로드와 데이터 분포 하에서 InfluxDB, OpenTSDB, KairosDB, TimescaleDB의 4개 TSDB를 평가하기 위해 프레임워크 적용.

실험 결과

연구 질문

• RQ1 주기적, 비정규적, 노이즈가 있는 신호와 같은 다양한 시계열 데이터 분포에서 서로 다른 TSDB는 어떻게 성능을 보일까?
• RQ2 TSDB에서 순서가 정렬된 입력과 어긋난 입력 워크로드 간의 성능 차이는 무엇인가?
• RQ3 동일한 워크로드와 데이터 볼륨 하에서 TSDB 간 시스템 자원 소비(CPU, 메모리, 디스크)는 어떻게 달라지는가?
• RQ4 산업용 IoT 환경에서 입력 및 쿼리 워크로드 전반에서 가장 뛰어난 종합 성능을 보이는 TSDB는 무엇인가?
• RQ5 통합된 벤치마크 프레임워크는 복잡한 혼합 워크로드를 효과적으로 지원하고 재현 가능하며 분석 가능한 결과를 제공할 수 있는가?

주요 결과

• InfluxDB는 대부분의 쿼리 워크로드에서 OpenTSDB, KairosDB, TimescaleDB를 앞서며, 특히 집계 및 다운샘플링 연산에서 뛰어난 성능을 보였다.
• OpenTSDB와 TimescaleDB는 많은 쿼리 시나리오에서 유사한 성능을 보였지만, 속도 면에서 InfluxDB에 뒤져 있었다.
• KairosDB는 시간 범위 쿼리 외에는 대부분의 쿼리 유형에서 성능이 열악하여 쿼리 실행 엔진에 잠재적인 비효율성이 있음을 시사했다.
• 시스템 자원 모니터링 결과, InfluxDB는 100만 개 시리즈 테스트 중 약 6%의 CPU 사용률을 유지하며 고정된 성능을 보였고, 이는 안정적이지만 자원 집약적인 운영을 의미했다.
• 벤치마크 도구는 테스트 구성, 성능 메트릭, 시스템 자원 데이터를 성공적으로 캡처하고 영구 저장하여 추적 가능하고 분석 가능한 평가를 가능하게 하였다.
• 프레임워크는 관계형 데이터베이스를 사용해 벤치마크 메타데이터를 관리하는 것이 가능함을 입증하여 재현 가능성과 장기적 분석을 향상시켰다.