[論文レビュー] Beyond Heuristics: Learning Visualization Design

Bahador Saket, Dominik Moritz+4 more|arXiv (Cornell University)|Jul 17, 2018

Data Visualization and Analytics参考文献 24被引用数 22

ひとこと要約

本論文は、マニュアルで整備されたヒューリスティクスに代わって、機械学習を用いて実証的ユーザーデータから可視化デザイン原則を直接学習することを提案する。スケーラブルなデータ収集、解釈可能なモデル、新規データに応じて進化する適応型システムを提唱することで、自動的で偏りのない、再現可能な可視化推薦ツールの実現を目指す。

ABSTRACT

In this paper, we describe a research agenda for deriving design principles directly from data. We argue that it is time to go beyond manually curated and applied visualization design guidelines. We propose learning models of visualization design from data collected using graphical perception studies and build tools powered by the learned models. To achieve this vision, we need to 1) develop scalable methods for collecting training data, 2) collect different forms of training data, 3) advance interpretability of machine learning models, and 4) develop adaptive models that evolve as more data becomes available.

研究の動機と目的

• 更新が遅く、バイアスにさらされやすい、手作業で整備された可視化デザインヒューリスティクスの限界を解消すること。
• 図的知覚研究からのデータを用いて、自動的かつデータドリブンに可視化デザイン原則を導出すること。
• スケーラブルで解釈可能かつ適応型の機械学習モデルを構築し、新たな実証的データが得られるに従い進化させること。
• 既存の知覚研究データのアクセシビリティと再利用可能性を高めるために、それらを統合した共有リポジトリにまとめる。
• ユーザーのフィードバックや意図に応じて進化する可視化推薦システムを構築し、その選択理由を説明できるようにすること。

提案手法

• 図的知覚研究から得られた既存のデータセットを活用し、可視化設計のための機械学習モデルを訓練する。
• ユーザーのパフォーマンスデータから学習するモデルを設計し、効果的な視覚エンコーディングや設計上のトレードオフを推定する。
• 解釈可能性ツールを統合し、モデルによる推薦の根拠を人間が理解できる形で説明可能にする。
• アクティブラーニングとデータキュレーション戦略を用いて、高品質で多様性に富み、文脈を含む訓練データを収集する。
• ユーザーのフィードバックを組み込み、新たなデータ収集と統合に伴い進化する適応型モデルを開発する。
• データフォーマットを標準化し、研究コミュニティ全体で知覚研究の結果に統一的にアクセスできる中央集権的リポジトリを構築する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして機械学習モデルを、実証的ユーザーパフォーマンスデータから直接可視化デザイン原則を導出できるように訓練できるか？
• RQ2 信頼性の高いモデルを訓練するための、知覚研究データの収集・キュレーション・標準化における主な課題は何か？
• RQ3 ユーザーが理解できる形で、機械学習モデルの可視化推薦を説明するには、どのようにして解釈可能にできるか？
• RQ4 インタラクティブなデータ探索の過程で、ユーザーの意図やフィードバックが変化するのに対し、推薦システムはどのようにして適応できるか？
• RQ5 新たな実証的データが得られるに従い、継続的に学習と改善が可能なモデルは、どのように設計できるか？

主な発見

• 既存の可視化デザインガイドラインは、数十年にわたる実証的研究に基づいているが、手作業での整備であり、更新が遅く、バイアスの影響を受けやすい。
• 知覚研究データに基づいて訓練された機械学習モデルは、より速く、再現可能で、バイアスのない方法でデザイン原則を自動適用できる。
• 推薦の根拠を説明するために、解釈可能なモデルは不可欠であり、たとえば特定の可視化タイプが推奨された理由や、意思決定に影響を与えたデータ特性を明確に示せる。
• ユーザーのフィードバックを組み込む適応型モデルは、時間の経過とともに推薦の正確性を向上させられ、反復的なデータ探索を支援する。
• 知覚研究データの中央集権的で標準化されたリポジトリがあれば、データのアクセシビリティとモデルの汎用性が著しく向上する。
• 現在のシステムは、静的な特徴セットと訓練データに制限されている。今後のモデルは、新たなデータと出現するデザインルールに応じて進化し続ける必要がある。