[논문 리뷰] CompEngine: a self-organizing, living library of time-series data

Ben Fulcher, Carl H Lubba외 2명|arXiv (Cornell University)|2019. 05. 03.

Time Series Analysis and Forecasting참고 문헌 15인용 수 4

한 줄 요약

CompEngine는 다양한 시간열 데이터—실제 측정 데이터, 시뮬레이션 데이터, 다학문적 데이터—를 캐논리컬 특성 기반 표현을 사용해 공유되는 저차원 공간에 통합하는 자기조직화형 웹 기반 라이브러리이다. 이는 다양한 분야 간 의미 있는 연결 고리를 자동으로 발견할 수 있게 하며, 실시간으로 유사한 시간열 데이터를 동적으로 연결함으로써 데이터 공유를 장려하고 다학문적 협력을 촉진한다. 특히 실제 세계 시스템과 모델 시뮬레이션 간 예상치 못한 유사성을 드러낸다.

ABSTRACT

Modern biomedical applications often involve time-series data, from high-throughput phenotyping of model organisms, through to individual disease diagnosis and treatment using biomedical data streams. Data and tools for time-series analysis are developed and applied across the sciences and in industry, but meaningful cross-disciplinary interactions are limited by the challenge of identifying fruitful connections. Here we introduce the web platform, CompEngine, a self-organizing, living library of time-series data that lowers the barrier to forming meaningful interdisciplinary connections between time series. Using a canonical feature-based representation, CompEngine places all time series in a common space, regardless of their origin, allowing users to upload their data and immediately explore interdisciplinary connections to other data with similar properties, and be alerted when similar data is uploaded in the future. In contrast to conventional databases, which are organized by assigned metadata, CompEngine incentivizes data sharing by automatically connecting experimental and theoretical scientists across disciplines based on the empirical structure of their data. CompEngine's growing library of interdisciplinary time-series data also facilitates comprehensively characterization of algorithm performance across diverse types of data, and can be used to empirically motivate the development of new time-series analysis algorithms.

연구 동기 및 목표

• 시간열 분석 분야에서 데이터 및 방법론의 분산으로 인한 다학문적 협력 부족 문제를 해결하기 위해.
• 자신의 기원이나 메타데이터와 관계없이 다양한 시간열 데이터 간 의미 있는 유사성을 자동으로 식별하고 강조하는 동적이고 자기조직화된 데이터 레포지터리 구축을 위해.
• 사용자가 자신의 데이터가 다른 실측 및 시뮬레이션 시스템과 어떻게 연결되어 있는지 즉각적으로 실용적인 통찰을 얻을 수 있도록 해, 데이터 공유 장벽을 낮추기 위해.
• 다양한 데이터 유형을 포함한 대규모이고 다양한 종류의 체계적으로 정리된 데이터셋을 제공함으로써 시간열 분석 알고리즘의 객관적 평가 및 개발을 지원하기 위해.
• 네트워크, 이미지, 다변량 데이터셋과 같은 다른 데이터 유형에 대해서도 향후 자기조직화형 데이터 라이브러리의 범용 템플릿을 제공하기 위해.

제안 방법

• CompEngine는 각 데이터 객체를 기술하기 위해 185개의 캐논리컬 시간열 특성을 사용하며, 이는 통계적, 역학적, 스펙트럼적 성질을 포괄한다.
• 이 특성들은 t-SNE 차원 감소 기법을 통해 저차원 공간에 임베딩되어 시각화 및 유사도 계산이 가능해진다.
• 특성 공간에서 최근접 이웃 매칭을 수행하여, 기원이나 메타데이터와 관계없이 유사한 실측 역학을 보이는 시간열 데이터를 식별한다.
• 시스템은 실시간 업데이트를 지원한다: 새로운 데이터가 업로드되면 라이브러리가 재조직되고, 유사도 기반으로 새로운 매칭을 사용자에게 알린다.
• 사용자는 시스템 유형, 기록 방법 등 메타데이터를 함께 업로드할 수 있으며, 플랫폼은 자동으로 다학문적 연결 고리를 계산하고 표시한다.
• 플랫폼는 확장 가능한 백엔드와 데이터베이스, 웹 인프라 기반으로 구축되어 있어, 24,000개 이상의 시간열 데이터를 지속적으로 저장하고 상호작용적으로 탐색할 수 있다.

실험 결과

연구 질문

• RQ1 기원, 샘플링 속도, 지속 시간의 차이가 있음에도 불구하고, 다양한 과학 분야의 시간열 데이터를 어떻게 의미 있게 비교하고 연결할 수 있는가?
• RQ2 생물학적, 물리적, 금융적, 시뮬레이션 데이터에서 유도된 시간열 데이터를 동일한 특성 공간에 임베딩했을 때, 어떤 종류의 다학문적 연결 고리가 나타나는가?
• RQ3 자기조직화형 데이터 라이브러리가 서로 관련이 없는 것으로 보이는 시스템 간의 숨겨진 유사성을 드러내어 데이터 공유와 협업을 향상시킬 수 있는가?
• RQ4 이러한 시스템이 다양한 데이터 유형을 포함한 시간열 분석 알고리즘의 객관적 평가 및 개발을 어느 정도 지원할 수 있는가?
• RQ5 특성 기반, 역학 기반 접근 방식을 통한 데이터 조직이 전통적인 메타데이터 기반 레포지터리보다 과학적 발견을 촉진하는 데 더 뛰어난가?

주요 결과

• CompEngine는 ECG, 새의 노래, 금융 데이터, 모델 시뮬레이션 등 다양한 분야에서 유래한 24,000개 이상의 시간열 데이터 객체를 185개의 캐논리컬 특성을 사용해 공통된 특성 공간에 통합한다.
• t-SNE 시각화 결과, 유사한 카테고리(예: 보행, 떨림, ECG)의 시간열 데이터가 군집을 이루며, 다른 카테고리는 공간적으로 분리되어 있음을 확인하여, 이 방법이 의미 있는 구조를 잘 포착하고 있음을 검증한다.
• 시스템은 놀라운 다학문적 매칭을 자동으로 식별한다. 예를 들어, 실제 생물학적 역학과 시뮬레이션 모델 시스템(SDE, 진동 맵 등) 간의 연결 고리를 발견하여 공통된 기초 메커니즘이 존재할 가능성을 시사한다.
• 새로운 데이터가 유사한 특성을 지니고 업로드되면 사용자에게 실시간 알림을 제공하여 라이브러리가 성장함에 따라 지속적인 발견과 협업이 가능해진다.
• 다양하고 실측 기반의 데이터셋을 제공함으로써 시간열 알고리즘의 종합적이고 편향 없는 평가가 가능해지며, 여러 과학 분야를 아우르는 데이터셋에 접근할 수 있다.
• CompEngine는 메타데이터가 아닌, 본질적인 데이터 기반 연결 고리를 드러내어 다학문적 분야 간의 과학적 발견을 촉진하는 자기조직화형 데이터 라이브러리의 실현 가능성을 입증한다.