[論文レビュー] Kyrix: Interactive Visual Data Exploration at Scale

Wenbo Tao, Xiaoyu Liu+3 more|arXiv (Cornell University)|May 12, 2019

Data Visualization and Analytics参考文献 18被引用数 4

ひとこと要約

Kyrix は、宣言型言語を用いてスケーラブルでインタラクティブなビジュアルデータ探索アプリケーションを構築できるエンドツーエンドのシステムである。動的ボックスフェッチ、空間インデクシング、予測プリフェッチといった革新的な最適化により、パフォーマンスのベンチマークで従来のタイルベースのフェッチを上回り、500ms未塔の応答時間を達成している。

ABSTRACT

Scalable interactive visual data exploration is crucial in many domains due to increasingly large datasets generated at rapid rates. Details-on-demand provides a useful interaction paradigm for exploring large datasets, where users start at an overview, find regions of interest, zoom in to see detailed views, zoom out and then repeat. This paradigm is the primary user interaction mode of widely-used systems such as Google Maps, Aperture Tiles and ForeCache. These earlier systems, however, are highly customized with hardcoded visual representations and optimizations. A more general framework is needed to facilitate the development of visual data exploration systems at scale. In this paper, we present Kyrix, an end-to-end system for developing scalable details-on-demand data exploration applications. Kyrix provides developers with a declarative model for easy specification of general visualizations. Behind the scenes, Kyrix utilizes a suite of performance optimization techniques to achieve a response time within 500ms for various user interactions. We also report results from a performance study which shows that a novel dynamic fetching scheme adopted by Kyrix outperforms tile-based fetching used in earlier systems.

研究の動機と目的

• テラバイトおよびペタバイト規模のデータセットを扱う分野における、スケーラブルでインタラクティブなビジュアルデータ探索の増大するニーズに対応すること。
• 既存のシステムが非常にカスタマイズされており、一般開発者向けの汎用性に欠けるという制限を克服すること。
• インデクシング、キャッシュ、プリフェッチなどのパフォーマンス最適化を統合した一般用途のフレームワークを提供すること。
• 大規模データセット上で、500ms未塔の応答時間でなめらかで応答性の高い詳細オンデマンドのインタラクション（ズーム、パン）を可能にすること。
• 開発者が低レベルのパフォーマンスに関する懸念を抽象化することで、スケーラブルな可視化アプリケーションの開発を加速すること。

提案手法

• Kyrix は、ビジュアライゼーションの論理を低レベルの実装詳細から分離するため、宣言型のドメイン固有言語（DSL）を用いてビジュアライゼーションを指定する。
• システムは、ビジュアライゼーション仕様を、空間インデクシングやデータ構造の事前計算を含む最適化されたバックエンド操作にコンパイルする。
• Kyrix は、ユーザーのインタラクションパターンに応じて動的にデータを取得する、革新的な動的ボックスフェッチメカニズムを採用している。
• パンやズーム中のレイテンシを最小限に抑えるために、予測プリフェッチとメモリ内キャッシュを統合している。
• バックエンドは、ペタバイト規模のスケーリングを確保するため、並列でマルチノードのDBMSを活用している。
• フロントエンドは、滑らかな遷移を使用してビジュアライゼーションをレンダリングし、複数のリンクされたビュー間でのインタラクションを同期している。

実験結果

リサーチクエスチョン

• RQ1 低レベルのパフォーマンスの専門知識を必要とせずに、スケーラブルでインタラクティブなビジュアルデータ探索を可能にする一般用途のシステムをどのように設計できるか。
• RQ2 大規模データセット上でパンやズームのインタラクション中に、応答時間を500ms未塔に抑えるために効果的な最適化技術は何か。
• RQ3 動的ボックスフェッチは、従来のタイルベースのフェッチと比較して、パフォーマンスとスケーラビリティの面でどのように異なるか。
• RQ4 宣言型のビジュアライゼーション指定を、サーバーサイドのデータ管理と最適化と効果的に統合することで、インタラクティブなパフォーマンスを達成できるか。
• RQ5 複数のリンクされたビジュアライゼーションをシームレスに統合し、同期されたインタラクションを可能にするアーキテクチャパターンは何か。

主な発見

• Kyrix の動的ボックスフェッチ方式は、パフォーマンスベンチマークで従来のタイルベースフェッチを上回り、データ転送量とレイテンシを削減した。
• さまざまなデータセットにおいて、パンやズームのインタラクションで500ms未塔の応答時間を達成しており、なめらかなインタラクションの閾値を満たしている。
• 空間インデクシング、予測プリフェッチ、キャッシュの統合により、インタラクティブな探索中の応答性が著しく向上した。
• Kyrix は、複雑なパフォーマンス最適化を抽象化することで、開発者がハイレベルの宣言型言語を用いてスケーラブルなビジュアライゼーションを構築できるようにした。
• リンクされたビューと滑らかなズーム遷移といった複雑なインタラクションパターンをサポートし、大規模データセット上でのユーザーエクスペリエンスを向上させた。
• Kyrix は、並列でマルチノードのDBMSアーキテクチャを活用することで、ペタバイト規模のデータにスケーリング可能に設計されている。