[논문 리뷰] Plotly-Resampler: Effective Visual Analytics for Large Time Series

Jonas Van Der Donckt, Jeroen Van Der Donckt외 2명|arXiv (Cornell University)|2022. 06. 17.

Data Visualization and Analytics인용 수 4

한 줄 요약

Plotly-Resampler는 Plotly 대시보드에서 현재 뷰 기반으로 동적으로 데이터를 집계함으로써 대규모 시간 시리즈의 상호작용 가능하고 확장 가능한 시각화를 가능하게 하는 오픈소스 파이썬 라이브러리입니다. 이는 백엔드에 집계 작업을 위탁함으로써 수백만 개의 데이터 포인트가 있는 경우에도 밀리초 수준의 반응성을 달성하여 확장성과 상호작용 성능 벤치마크에서 기존 대안들을 크게 앞섭니다.

ABSTRACT

Visual analytics is arguably the most important step in getting acquainted with your data. This is especially the case for time series, as this data type is hard to describe and cannot be fully understood when using for example summary statistics. To realize effective time series visualization, four requirements have to be met; a tool should be (1) interactive, (2) scalable to millions of data points, (3) integrable in conventional data science environments, and (4) highly configurable. We observe that open source Python visualization toolkits empower data scientists in most visual analytics tasks, but lack the combination of scalability and interactivity to realize effective time series visualization. As a means to facilitate these requirements, we created Plotly-Resampler, an open source Python library. Plotly-Resampler is an add-on for Plotly's Python bindings, enhancing line chart scalability on top of an interactive toolkit by aggregating the underlying data depending on the current graph view. Plotly-Resampler is built to be snappy, as the reactivity of a tool qualitatively affects how analysts visually explore and analyze data. A benchmark task highlights how our toolkit scales better than alternatives in terms of number of samples and time series. Additionally, Plotly-Resampler's flexible data aggregation functionality paves the path towards researching novel aggregation techniques. Plotly-Resampler's integrability, together with its configurability, convenience, and high scalability, allows to effectively analyze high-frequency data in your day-to-day Python environment.

연구 동기 및 목표

• 파이썬 데이터 과학 워크플로우에서 확장 가능하고 상호작용 가능한 시간 시리즈 시각화 도구의 부족을 보완하기 위해.
• 수백만 개의 데이터 포인트를 렲시할 때 상호작용성과 성능 사이의 상충 관계를 극복하기 위해.
• 기존의 파이썬 환경(예: 주피터 노트북 및 대시 애플리케이션)과 원활하게 통합될 수 있도록 하기 위해.
• 시간 시리즈 집계 기법에 대한 시각적 분석 및 연구를 위한 고도로 구성 가능하고 확장 가능한 플랫폼을 제공하기 위해.
• 효율적인 클라이언트-서버 데이터 업데이트를 통해 줌 및 패닝 동안 실시간으로 반응하는 상호작용을 보장하기 위해.

제안 방법

• Plotly의 파이썬 시각화 백엔드 위에 데코레이터(도면Resampler)로 통합됩니다.
• 시각화를 프론트엔드(집계된 데이터 표시)와 백엔드(전체 데이터 세트 저장 및 뷰 변경 처리)로 분리합니다.
• 동적 콜백을 사용합니다: 줌/패닝 이벤트 발생 시 프론트엔드가 새로운 뷰 범위(relayoutData)를 백엔드에 전송합니다.
• 백엔드는 기본적으로 LTTB 알고리즘의 효율적인 히우리스틱을 사용해 필요에 따라 데이터를 집계합니다.
• 네트워크 오버헤드를 최소화하기 위해 업데이트된 집계된 데이터(updateData)만 프론트엔드로 다시 전송합니다.
• 집계된 데이터를 오해하지 않도록 도화지에 [R] 접두어와 추정된 비닝 크기를 도면 설명에 표시합니다.

실험 결과

연구 질문

• RQ1 수백만 개의 데이터 포인트에 대해 반응성을 희생시키지 않고도 상호작용 가능한 시간 시리즈 시각화를 어떻게 확장할 수 있을까요?
• RQ2 실시간 시각 분석에서 고주파 시간 시리즈에 대해 동적 데이터 집계가 성능에 얼마나 기여할 수 있을까요?
• RQ3 주피터 및 대시와 같은 기존의 파이썬 데이터 과학 워크플로우에 원활하게 통합될 수 있는 경량이고 확장 가능한 툴킷을 구축할 수 있을까요?
• RQ4 다양한 집계 알고리즘(예: EveryNth 대비 LTTB)이 시간 시리즈 도표에서 시각적 정밀도와 앨리어징 아티팩트에 어떻게 영향을 미칠까요?
• RQ5 이 툴킷은 새로운 시간 시리즈 집계 기법을 연구하고 비교하는 데 플랫폼으로서 기능할 수 있을까요?

주요 결과

• Plotly-Resampler는 100만 개 이상의 데이터 포인트를 가진 데이터 세트에서도 줌 및 패닝 상호작용 시 밀리초 수준의 반응성을 달성합니다.
• 벤치마크 결과 Plotly-Resampler는 샘플 수와 시간 시리즈 수 모두에서 확장성 측면에서 기존 대안 도구들을 크게 앞섭니다.
• LTTB 기반 집계와 함께 시각적 지시자([R] 접두어 및 비닝 크기 추정치)를 사용함으로써 EveryNth와 같은 단순한 방법에 비해 앨리어징 아티팩트를 효과적으로 줄였습니다.
• 이 툴킷을 통해 단일 인터랙티브 대시보드에서 복잡한 다변량 시간 시리즈(예: 수면다원검사 EEG/EMG 데이터)의 종합적 시각 분석이 가능해졌습니다.
• 기존 워크플로우에 통합하기 위해 코드 오버헤드가 최소화되었습니다. 단지 Plotly 도표를 FigureResampler로 감싸고 show_dash()를 호출하기만 하면 됩니다.
• 툴킷 아키텍처는 데이터 처리 파이프라인을 모듈러하게 노출함으로써 향후 새로운 집계 기법에 대한 연구를 지원합니다.