[論文レビュー] Progressive Analytics: A Computation Paradigm for Exploratory Data Analysis

Jean‐Daniel Fekete, Romain Primet|arXiv (Cornell University)|Jul 18, 2016

Data Visualization and Analytics参考文献 37被引用数 69

ひとこと要約

本稿では、部分結果を段階的に提供することで、人間の認知的制限に合わせた10秒未満の低レイテンシーフィードバックを実現する計算パラダイム「Progressive Analytics」を紹介する。ProgressiVisツールキットを用いてプログラミング言語レベルでプログレッシブ計算を統合することで、計算中でもリアルタイムでのユーザーインタラクション、パrameter調整、アルゴリズムの制御が可能となり、大規模または複雑なデータセットに対しても、完全再計算を必要とせずに使いやすさが著しく向上する。

ABSTRACT

Exploring data requires a fast feedback loop from the analyst to the system, with a latency below about 10 seconds because of human cognitive limitations. When data becomes large or analysis becomes complex, sequential computations can no longer be completed in a few seconds and data exploration is severely hampered. This article describes a novel computation paradigm called Progressive Computation for Data Analysis or more concisely Progressive Analytics, that brings at the programming language level a low-latency guarantee by performing computations in a progressive fashion. Moving this progressive computation at the language level relieves the programmer of exploratory data analysis systems from implementing the whole analytics pipeline in a progressive way from scratch, streamlining the implementation of scalable exploratory data analysis systems. This article describes the new paradigm through a prototype implementation called ProgressiVis, and explains the requirements it implies through examples.

研究の動機と目的

• 探索的データ分析における深刻なレイテンシ問題に対処すること。特に、逐次的計算が人間の認知的関与に必要な10秒の閾値を超える場合に有効であるようにすること。
• ユーザーが指定した時間制約内で部分結果を保証する計算パララダイム「Progressive Analytics」を形式化し、計算中に応答性の高いインタラクションを可能にすること。
• プログレッシブ計算を言語レベルに埋め込むことで、再利用可能なソフトウェアツールキット（ProgressiVis）を提供し、スケーラブルでインタラクティブなデータ分析システムの開発を簡素化すること。
• モジュラーで合成可能かつインタラクティブなプログレッシブ分析システムを構築する際のアーキテクチャ的課題を特定・解決し、臨時の再実装を回避すること。
• アルゴリズムのプログレッシブ性と既存の科学計算ライブラリの間のギャップを埋めるために、SciPy や Pandas、scikit-learn などのライブラリが反復制御と中間状態を公開するAPI拡張を提唱すること。

提案手法

• プログレッシブ分析パラダイムは、最終出力に収束する部分結果のシーケンスとして計算を形式化し、最初の結果を得るまでの時間に保証された上限を設ける。
• ProgressiVisは、各モジュールが固定時間の量子インターバルで動作するパイプラインアーキテクチャを用いて、Pythonツールキットとしてこのパラダイムを実装する。
• システムはスケジューラを用いてモジュールの実行を時間制限付きのイテレーションで管理し、計算中に動的ユーザーインタラクション（パrameter変更やフィルタリングなど）を可能にする。
• モジュールは状態保持型かつインクリメンタルに設計されており、部分状態から再開でき、完全な完了前に結果を返すことが可能である。
• 本アプローチはインタラクティブな制御をサポートする。ユーザーは実行中にパrameterやアルゴリズムを変更でき、システムはそれに応じて計算パスを動的に適応させる。
• 可視化レイヤーと統合することで、データ分布やMDSレイアウトのプログレッシブレンダリングなどのリアルタイムフィードバックをサポートする。

実験結果

リサーチクエスチョン

• RQ1 探索的データ分析において、人間の認知的制限に合わせ、10秒未満の低レイテンシーフィードバックを保証する計算パラダイムをどのように設計できるか？
• RQ2 プログレッシブ計算をデータ分析パイプライン全体にまたがって合成可能で再利用可能かつモジュラーにできるようにするための、アーキテクチャ的および言語レベルの抽象化は何か？
• RQ3 既存の科学計算ライブラリ（例：SciPy、scikit-learn）をどのように拡張すれば、プログレッシブ計算をサポートする反復制御と中間状態を公開できるか？
• RQ4 特に現代のメモリ階層において、モノリシックな逐次実行と比較して、プログレッシブ計算のパフォーマンスとメモリ特性はどのようなものか？
• RQ5 プログレッシブ計算モデルに可視化とユーザーインタラクションをどのように意味的に統合できるか。これにより、分析中にリアルタイム意思決定を支援できるか？

主な発見

• ProgressiVisは、標準的なPythonおよびNumPyスタック内で、人間が処理可能な速度でプログレッシブな結果を効果的に提供した。これは、段階的計算が実現可能で、効率的であることを示している。
• ProgressiVisのプログレッシブメモリ割り当て戦略は、一部のケースでバッチ割り当てを上回り、OSレベルのフリーズを低減し、応答性を向上させた。これは、キャッシュや仮想メモリの利用が最適化された可能性がある。
• SciPy や scikit-learn などの既存の科学計算ライブラリは、内部の反復処理を公開していないため、ProgressiVisはブラックボックス関数の再実装やラッピングを余儀なくされた。これは、ライブラリレベルでのサポートの重要性を浮き彫りにした。
• システムは、計算中にパrameter変更やフィルタリングなどのリアルタイムユーザーインタラクションを可能にし、完全実行を待たずに早期に意思決定を可能にした。
• ProgressiVisの量子ベースのスケジューラにより、各モジュールの計算時間の動的チューニングが可能であり、量子時間のインタラクティブ調整が応答性とスループットのバランスを取るために実行可能で効果的であることが示された。
• プログレッシブ分析は、探索的ワークフローにおける認識的レイテンシを顕著に低減し、初期で進化するインサイトを提供することで、ユーザーの集中力と認知的関与を維持する支援をした。