[論文レビュー] Plotly-Resampler: Effective Visual Analytics for Large Time Series

Jonas Van Der Donckt, Jeroen Van Der Donckt+2 more|arXiv (Cornell University)|Jun 17, 2022

Data Visualization and Analytics被引用数 4

ひとこと要約

Plotly-Resampler は、Plotly ダッシュボード内の現在のビューエリアに基づいて動的にデータを集計することで、大規模な時系列データのインタラクティブでスケーラブルな可視化を可能にするオープンソースの Python ライブラリです。バックエンドに集計処理をオフロードすることで、数百万件のデータポイントがあってもサブ秒の応答速度を実現し、スケーラビリティとインタラクティビティのベンチマークにおいて、他の代替手法を大きく上回っています。

ABSTRACT

Visual analytics is arguably the most important step in getting acquainted with your data. This is especially the case for time series, as this data type is hard to describe and cannot be fully understood when using for example summary statistics. To realize effective time series visualization, four requirements have to be met; a tool should be (1) interactive, (2) scalable to millions of data points, (3) integrable in conventional data science environments, and (4) highly configurable. We observe that open source Python visualization toolkits empower data scientists in most visual analytics tasks, but lack the combination of scalability and interactivity to realize effective time series visualization. As a means to facilitate these requirements, we created Plotly-Resampler, an open source Python library. Plotly-Resampler is an add-on for Plotly's Python bindings, enhancing line chart scalability on top of an interactive toolkit by aggregating the underlying data depending on the current graph view. Plotly-Resampler is built to be snappy, as the reactivity of a tool qualitatively affects how analysts visually explore and analyze data. A benchmark task highlights how our toolkit scales better than alternatives in terms of number of samples and time series. Additionally, Plotly-Resampler's flexible data aggregation functionality paves the path towards researching novel aggregation techniques. Plotly-Resampler's integrability, together with its configurability, convenience, and high scalability, allows to effectively analyze high-frequency data in your day-to-day Python environment.

研究の動機と目的

• Python データサイエンスワークフローにおけるスケーラブルでインタラクティブな時系列可視化ツールの不足を補う。
• 数百万件のデータポイントをレンダリングする際のインタラクティビティとパフォーマンスのトレードオフを克服する。
• Jupyter ノートブックや Dash アプリケーションなどの既存の Python 環境へのシームレスな統合を可能にする。
• 時系列集約手法の研究に適した、高機能で拡張性のあるプラットフォームを提供する。
• 効率的なクライアント・サーバー間データ更新により、ズームやパン操作時における応答性の高いリアルタイム相互作用を確保する。

提案手法

• Plotly の Python 可視化バックエンド上にデコレータ（FigureResampler）として統合する。
• 可視化処理をフロントエンド（集約済みデータの表示）とバックエンド（完全なデータセットの保存およびビューチェンジの処理）に分離する。
• 動的コールバックを活用：ズーム／パンイベント時に、フロントエンドは新しいビューレンジ（relayoutData）をバックエンドに送信する。
• バックエンドでは、デフォルトで効率的なヒューリスティックを用いた LTTB アルゴリズムを用いて、オンデマンドでデータを集計する。
• ネットワークオーバーヘッドを最小限に抑えるために、更新された集約済みデータ（updateData）のみをフロントエンドに送信し、レンダリングに使用する。
• 集約済みデータを識別するために、凡例に [R] プレフィックスと推定されたビンサイズを表示することで、ダウンサンプリングされたデータの誤解を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 数百万件のデータポイントに対して、応答性を損なわずにインタラクティブな時系列可視化をどのようにスケーラブルに実現できるか？
• RQ2 高頻度時系列データのリアルタイム可視化分析において、動的データ集約はどの程度パフォーマンスを向上させるか？
• RQ3 Jupyter や Dash などの既存の Python データサイエンスワークフローにシームレスに統合できる、軽量で拡張性のあるツールキットを構築できるか？
• RQ4 異なる集約アルゴリズム（例：EveryNth と LTTB）は、時系列プロットにおける視覚的忠実度とアーリアスアーチファクトにどのように影響を与えるか？
• RQ5 このツールキットは、新しい時系列集約手法の研究と比較に役立つプラットフォームとして機能できるか？

主な発見

• Plotly-Resampler は、100万件を超えるデータセットを対象としても、ズームやパン操作時においてもサブ秒の応答時間を達成している。
• ベンチマーク結果から、データポイント数および時系列数の両面において、他の代替ツールに比べて Plotly-Resampler が顕著にスケーラビリティに優れていることが示された。
• LTTB を基盤とする集約処理に視覚的インジケータ（[R] プレフィックスとビンサイズ推定値）を併用することで、単純な方法（例：EveryNth）に比べてアーリアスアーチファクトが顕著に低減された。
• このツールキットにより、1つのインタラクティブダッシュボード内で複雑な多変量時系列（例：多導出脳波 EEG/EMG データ）のエンドツーエンド可視化分析が可能になった。
• 既存のワークフローへの統合には、コードオーバーヘッドが最小限に抑えられ、Plotly 図を FigureResampler でラップし、show_dash() を呼び出すだけである。
• モジュラーな方法で下位のデータ処理パイプラインを公開することで、今後の新しい集約手法の研究を支援するアーキテクチャを備えている。