[論文レビュー] Foresight: Recommending Visual Insights

Çağatay Demiralp, Peter J. Haas+2 more|arXiv (Cornell University)|Jul 12, 2017

Data Visualization and Analytics参考文献 6被引用数 20

ひとこと要約

Foresightは、データ次元や視覚的エンコーディングではなくインサイト空間に焦点を当てることで、大規模で高次元のデータセットにおける視覚的インサイトの推薦に新たなフレームワークを導入する。インサイトメトリクスの高速な近似計算のためのスケッチ技術を用い、順序付けられた可視化と制約ベースのクエリを通じてインタラクティブな探索を可能にし、実世界のユースケースで高い精度と高速化が実証されている。

ABSTRACT

Current tools for exploratory data analysis (EDA) require users to manually select data attributes, statistical computations and visual encodings. This can be daunting for large-scale, complex data. We introduce Foresight, a system that helps the user rapidly discover visual insights from large high-dimensional datasets. Formally, an "insight" is a strong manifestation of a statistical property of the data, e.g., high correlation between two attributes, high skewness or concentration about the mean of a single attribute, a strong clustering of values, and so on. For each insight type, Foresight initially presents visualizations of the top k instances in the data, based on an appropriate ranking metric. The user can then look at "nearby" insights by issuing "insight queries" containing constraints on insight strengths and data attributes. Thus the user can directly explore the space of insights, rather than the space of data dimensions and visual encodings as in other visual recommender systems. Foresight also provides "global" views of insight space to help orient the user and ensure a thorough exploration process. Furthermore, Foresight facilitates interactive exploration of large datasets through fast, approximate sketching.

研究の動機と目的

• 大規模で高次元のデータセットにおける探索的データ分析（EDA）の認知的負担を軽減すること。特に、属性、統計量、視覚的エンコーディングの手動選択が過重になる状況を想定する。
• 自動推薦により、ユーザーの作業負荷と認知的負担を軽減し、データ次元からインサイトの種類（相関、外れ値、歪度など）に焦点を移すことで実現する。
• 近似スケッチ技術を活用し、インサイトのクエリ評価を高速化することで、インタラクティブでスケーラブルなインサイト探索を可能にすること。
• 広範なインサイト推薦から制約ベースのクエリに至る段階的な、構造的でユーザー誘導型の探索プロセスを提供すること。
• インサイト空間のグローバルな概要と段階的な精錬を通じて、包括的かつバイアスのない探索を保証すること。

提案手法

• Foresightは、相関、歪度、クラスタリングなどの統計的性質としてインサイトをモデル化し、順位付けに使用する強度指標（例：ピアソン相関係数、歪度係数）を関連付ける。
• ビットベクトルスケッチを用いて相関係数を効率的に近似し、スケッチベクトル間のハミング距離のコサインを用いて相関を推定する。
• スケッチ手法により、時間計算量をO(nd²)からO(|B|²k)に削減し、高速な事前処理とインタラクティブなクエリ応答時間を実現する。
• インサイトクエリは、インサイト強度と属性集合を制約可能であり、ユーザー定義の基準に従って動的にインサイトをフィルタリングおよび再順位付けする。
• システムは三段階の探索をサポートする：(1) クラスごとの上位k個のインサイト、(2) 制約を含む焦点を当てたクエリ、(3) 方向性の把握のためのグローバルな概要（例：相関ヒートマップ）。
• スケッチの合成により、生データを再計算することなく、異なるデータサブセットにおける複数のインサイトメトリクスを効率的に計算できる。

実験結果

リサーチクエスチョン

• RQ1 インサイト推薦システムは、大規模で高次元のデータセットにおける探索的データ分析（EDA）の認知的負担をどのように軽減できるか？
• RQ2 近似スケッチ技術は、リアルタイムでのインサイトクエリに対してどの程度インタラクティブなパフォーマンスを実現できるか？
• RQ3 データ次元ではなくインサイト空間に焦点を当てるアプローチは、データ探索の効率性と深さを向上させられるか？
• RQ4 制約ベースのインサイトクエリは、意味のある、反証的または診断的証拠に至るのをユーザーがどの程度効果的に導けるか？
• RQ5 スケッチを用いたインサイトメトリクス推定において、正確性とパフォーマンスのトレードオフはどのようなものか？

主な発見

• Foresightはビットベクトルスケッチを用いて相関係数を推定する際、90%以上の正確性を達成し、正確な手法と比較して事前処理で3倍～4倍の高速化を実現した。
• システムは、近似スケッチとインデキシングを活用することで、最大10万行、数百列のデータセットについてもインタラクティブに探索可能である。
• ユーザーは制約ベースのクエリを通じてインサイトの近傍を効率的に探索でき、OECDデータセットにおいて「レクリエーション時間」と「自己報告健康状態」の間の相関がないという非自明な関係を発見した。
• 相関ヒートマップなどのグローバルな概要可視化の活用により、ユーザーはインサイト空間の全体像を把握し、包括的な探索を保証できる。
• パーキンソン病データセットにおいて、Foresightは臨床的特徴と疾患進行マーカーの間の強い相関を正常に同定し、医療分野での応用可能性を示した。
• システムは反復的で仮説駆動の探索をサポートし、発見されたインサイトに基づいてユーザーが焦点を絞り直すことができ、より深くデータ駆動型の問いに至るプロセスを可能にした。