[논문 리뷰] TritanDB: Time-series Rapid Internet of Things Analytics

Eugene Siow, Thanassis Tiropanis외 2명|arXiv (Cornell University)|2018. 01. 24.

Time Series Analysis and Forecasting참고 문헌 24인용 수 6

한 줄 요약

TritanDB는 인터넷 사물(IoT) 워크로드를 최적화한 새로운 시계열 데이터베이스로, 자원이 제한된 디바이스와 클라우드 시스템 양쪽에서 고성능 분석을 가능하게 하기 위해 효율적인 압축 및 스토리지 구조와 경량 쿼리 번역 레이어를 결합한다. 이는 IoT 시나리오에서 최첨단 데이터베이스 대비 성능을 최대 10배 향상시키며, 최소한의 런타임 오버헤드로 RDF 기반의 데이터 통합을 지원한다.

ABSTRACT

The efficient management of data is an important prerequisite for realising the potential of the Internet of Things (IoT). Two issues given the large volume of structured time-series IoT data are, addressing the difficulties of data integration between heterogeneous Things and improving ingestion and query performance across databases on both resource-constrained Things and in the cloud. In this paper, we examine the structure of public IoT data and discover that the majority exhibit unique flat, wide and numerical characteristics with a mix of evenly and unevenly-spaced time-series. We investigate the advances in time-series databases for telemetry data and combine these findings with microbenchmarks to determine the best compression techniques and storage data structures to inform the design of a novel solution optimised for IoT data. A query translation method with low overhead even on resource-constrained Things allows us to utilise rich data models like the Resource Description Framework (RDF) for interoperability and data integration on top of the optimised storage. Our solution, TritanDB, shows an order of magnitude performance improvement across both Things and cloud hardware on many state-of-the-art databases within IoT scenarios. Finally, we describe how TritanDB supports various analyses of IoT time-series data like forecasting.

연구 동기 및 목표

• 엣지 디바이스와 클라우드 플랫폼에서 모두 발생하는 IoT 시계열 데이터 관리의 성능 저하 문제를 해결하기 위해.
• 이종 IoT 디바이스 간의 데이터 통합을 향상시키기 위해 RDF 데이터 모델을 효율적으로 활용해 상호운용성을 제공하기 위해.
• IoT 시계열 데이터의 고유한 특성에 맞게 최적화된 압축 기법과 스토리지 구조를 규명하기 위해.
• 최적화된 시계열 스토리지에서 SPARQL 쿼리를 실행할 때 런타임 오버헤드를 최소화하는 쿼리 번역 레이어를 설계하기 위해.
• 예측 및 집계와 같은 고급 분석 연산을 높은 효율성으로 수행할 수 있도록 지원하기 위해.

제안 방법

• 공개된 IoT 데이터셋을 분석하여 평면적, 넓은, 수치적, 혼합 간격의 시계열 데이터의 공통 특성을 파악한다.
• 최첨단 시계열 데이터베이스 기법을 평가하며, 성능 향상을 위한 압축 및 인덱싱에 집중한다.
• I/O 감소와 쿼리 스루풋 향상을 위해 최적화된 데이터 구조와 압축 기법을 사용하는 커스터마이즈된 스토리지 엔진을 설계한다.
• SPARQL 대신 효율적인 시계열 연산으로 매핑하는 경량의 SPARQL-to-TritanDB 연산자 번역 레이어를 구현한다.
• 성능 영향을 최소화하기 위해 선택적 쿼리 처리를 통해 RDF 기반의 데이터 모델링을 지원하면서도 성능에 영향을 최소화한다.
• 매핑-일치-실행 파이프라인을 사용하며, 여기서 '실행' 단계는 SPARQL 대수 연산자들을 시계열 데이터에서의 조인, 필터, 집계, 정렬 등의 네이티브 TritanDB 연산으로 매핑한다.

실험 결과

연구 질문

• RQ1 실제 세계의 IoT 시계열 데이터의 지배적인 구조적 특성는 무엇이며, 이를 효율적인 스토리지 및 쿼리 처리에 어떻게 활용할 수 있는가?
• RQ2 제약 조건이 있는 환경과 클라우드 환경 모두에서 시계열 데이터에 대해 최고의 성능을 내는 압축 기법과 데이터 구조는 무엇인가?
• RQ3 고성능 시계열 데이터베이스에서 RDF 기반의 데이터 모델링을 효율적으로 지원할 수 있는가, 이때 쿼리 성능이 저하되지 않는가?
• RQ4 자원이 제한된 디바이스에서 런타임 오버헤드를 최소화하면서 SPARQL 쿼리를 효율적인 시계열 데이터 연산으로 어떻게 번역할 수 있는가?
• RQ5 통합 데이터베이스 시스템이 엣지 디바이스와 클라우드 배포 환경 모두에서 IoT 분석에 대해 높은 성능을 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• TritanDB는 엣지 및 클라우드 하드웨어에서 IoT 워크로드에서 최첨단 데이터베이스 대비 성능을 최대 10배 향상시킨다.
• 최적화된 스토리지 구조와 압축 기법의 사용은 I/O를 크게 감소시키고 쿼리 스루풋을 향상시키며, 특히 시간 범위 및 집계 쿼리에서 두드러진다.
• SPARQL 쿼리 번역 레이어는 런타임 오버헤드가 거의 없어, 자원이 제한된 디바이스에서도 복잡한 쿼리의 효율적 실행을 가능하게 한다.
• 최소한의 성능 영향으로 Rich 데이터 모델링을 지원하여 이종 IoT 시스템 간의 상호운용성을 실현한다.
• TritanDB는 효율적인 시계열 인식 연산자를 통해 예측, 그룹화, 집계와 같은 고급 분석 연산을 네이티브로 지원한다.
• 벤치마크 결과에 따르면, TritanDB는 MongoDB, Cassandra, OpenTSDB, Elasticsearch 등 다양한 시스템을 여러 쿼리 유형과 데이터 볼륨에서 모두 압도적으로 뛰어난 성능으로 능가한다.