[論文レビュー] VizNet: Towards A Large-Scale Visualization Learning and Benchmarking Repository

Kevin Hu, Neil Gaikwad+8 more|arXiv (Cornell University)|May 11, 2019

Data Visualization and Analytics被引用数 7

ひとこと要約

VizNetは、オープンリポジトリーや可視化プラットフォームから得た3100万件の実世界データセットから構成される大規模で公開可能なコーパスを提供することで、可視化技術の標準化されたベンチマーク評価を可能にする。スケーラブルなクラウドソーシング実験を支援し、視覚的エンコーディングの有効性を予測するための機械学習を示している。本研究は、再現可能でデータ駆動型の可視化設計研究の基盤を確立する。

ABSTRACT

Researchers currently rely on ad hoc datasets to train automated visualization tools and evaluate the effectiveness of visualization designs. These exemplars often lack the characteristics of real-world datasets, and their one-off nature makes it difficult to compare different techniques. In this paper, we present VizNet: a large-scale corpus of over 31 million datasets compiled from open data repositories and online visualization galleries. On average, these datasets comprise 17 records over 3 dimensions and across the corpus, we find 51% of the dimensions record categorical data, 44% quantitative, and only 5% temporal. VizNet provides the necessary common baseline for comparing visualization design techniques, and developing benchmark models and algorithms for automating visual analysis. To demonstrate VizNet's utility as a platform for conducting online crowdsourced experiments at scale, we replicate a prior study assessing the influence of user task and data distribution on visual encoding effectiveness, and extend it by considering an additional task: outlier detection. To contend with running such studies at scale, we demonstrate how a metric of perceptual effectiveness can be learned from experimental results, and show its predictive power across test datasets.

研究の動機と目的

• 可視化設計手法を評価するための標準化された大規模データセットの不足に対処すること。
• 可視化研究における生態的妥当性を高めるために、実世界のデータ特性を反映した現実的で多様なデータセットのコーパスを構築すること。
• さまざまなタスクとデータ分布における視覚的エンコーディングの有効性を評価するための、スケーラブルでオンラインのクラウドソーシング実験を可能にすること。
• 人為的ラベル付けに依存しないように、視覚的デザインの知覚的有効性を予測する機械学習モデルを開発すること。
• 自動可視化システムの比較のための共有ベンチマークを提供し、可視化分野における再現可能性の高い研究を推進すること。

提案手法

• Tableau Publicなどのオンライン可視化ギャラリー、ClueWeb09などのウェブクロールなど、オープンデータリポジトリーや可視化プラットフォームから合計3100万件以上のデータセットを収集した。
• 次元数（平均3次元）、データタイプ（51％がカテゴリカル、44％が定量的、5％が時系列）、エントロピー、最良適合分布などの統計的特徴を含む、データセットの特性を特徴づけた。
• VizNet上でクラウドソーシング評価を用いて、値推定や外れ値検出などのタスクを含む、先行研究のグラフィカルな知覚研究を再現・拡張した。
• クラウドソーシングで得た人間の判断ラベルを用いて、視覚的エンコーディングの知覚的有効性を予測する機械学習モデルを開発した。
• 自己学習と不確実性サンプリングを含むアクティブラーニング戦略を適用し、最小限の人的ラベル付けでモデル性能を段階的に向上させた。
• VizNetコーパス、データ収集スクリプト、分析ツールを https://viznet.media.mit.edu/ を通じて公開した。

実験結果

リサーチクエスチョン

• RQ1 先行の可視化研究で用いられる合成的または臨床的データセットとは異なり、実世界のデータセットは構造的およびデータタイプ構成においてどのように異なるか？
• RQ2 タスクの種別やデータ分布が、実世界のデータにおける視覚的エンコーディングの有効性にどの程度影響を及えるか？
• RQ3 クラウドソーシングによる人間の判断に基づいて学習した機械学習モデルは、未観測の（データ、可視化、タスク）トリプレットにおける視覚的エンコーディングの知覚的有効性を予測できるか？
• RQ4 アクティブラーニング戦略は、大規模な可視化ベンチマーク評価において、高い予測精度を維持しながら、ラベル付けコストをどの程度低減できるか？
• RQ5 既存のデータコーパスに存在する主なバイアスは何か？ これらは、可視化研究の一般化可能性にどのような影響を及えるか？

主な発見

• VizNetコーパスには3100万件のデータセットが含まれており、平均17件のレコードと3次元を有し、実世界のデータ分布を反映している：カテゴリカル51％、定量的44％、時系列5％。
• 先行研究の視覚的エンコーディング有効性に関する再現実験では、全体的に一貫した結果が得られたが、VizNetに含まれる実世界データセットの多様性により、統計的に有意な差が確認された。
• 外れ値検出をタスクに追加したことで、従来のより限定的な研究では捉えきれなかったエンコーディング性能に関する新たな知見が得られた。
• 人間の判断データに基づいて学習した機械学習モデルは、未観測のトリプレットにおける視覚的エンコーディングの有効性を非ランダムな精度で推定する能力を示した。
• アクティブラーニング戦略（特に不確実性サンプリングと自己学習）を適用することで、反復処理を経てモデルの精度が向上し、完全な人的ラベル付けの必要性が低減された。
• コーパスは、Kaggle、Tableau Public、Rdatasetsなどのデータソース間で顕著なバイアスを示しており、今後の研究においてサンプリングの注意深さとバイアスに配慮した評価の重要性が浮き彫りになった。