[論文レビュー] ML-based Visualization Recommendation: Learning to Recommend Visualizations from Data

Xin Qian, Ryan A. Rossi+6 more|arXiv (Cornell University)|Sep 25, 2020

Data Visualization and Analytics参考文献 15被引用数 11

ひとこと要約

本論文は、大規模なデータセットおよび可視化のコーパスから学習することで、新しい未確認のデータセットに対して、自動的に効果的な可視化を生成・スコア付け・ランク付けする、最初のエンドツーエンドの機械学習ベースの可視化推薦システムを提示する。幅広く深いニューラルネットワークアーキテクチャを用いることで、モデルはデータから洗練された可視化デザインの好みを学習し、ルールベースのシステムに比べて顕著に優れた専門家の好み（7点中5.92点対3.45点）を達成するとともに、ルールベースのアプローチで一般的な同点スコア問題を解消する。

ABSTRACT

Visualization recommendation seeks to generate, score, and recommend to users useful visualizations automatically, and are fundamentally important for exploring and gaining insights into a new or existing dataset quickly. In this work, we propose the first end-to-end ML-based visualization recommendation system that takes as input a large corpus of datasets and visualizations, learns a model based on this data. Then, given a new unseen dataset from an arbitrary user, the model automatically generates visualizations for that new dataset, derive scores for the visualizations, and output a list of recommended visualizations to the user ordered by effectiveness. We also describe an evaluation framework to quantitatively evaluate visualization recommendation models learned from a large corpus of visualizations and datasets. Through quantitative experiments, a user study, and qualitative analysis, we show that our end-to-end ML-based system recommends more effective and useful visualizations compared to existing state-of-the-art rule-based systems. Finally, we observed a strong preference by the human experts in our user study towards the visualizations recommended by our ML-based system as opposed to the rule-based system (5.92 from a 7-point Likert scale compared to only 3.45).

研究の動機と目的

• ルールベースの可視化推薦システムの限界、すなわち識別性の低さ、硬直的なスコア付け、高い保守コストを是正すること。
• 実際のユーザー生成可視化から学習する、完全にデータ駆動型で自動的かつスケーラブルなシステムを構築すること。
• ルールベースのシステムで根本的な問題となっている同一スコア問題を解消するため、ディープラーニングにより連続的で意味のあるスコアを学習すること。
• 手動での再設定が不要な、任意の新しいデータセットに適用可能な汎用的な推薦モデルを作成すること。
• 定量的評価、ユーザースタディ、定性的分析を通じて、システムの有効性を検証すること。

提案手法

• 属性の組み合わせと可視化構成の上での機械学習ベースの可視化推薦問題を、属性の組み合わせと可視化構成の上での学習タスクとして形式化する。
• 広範な線形特徴（例：属性タイプ、レイアウトの好み）と、データおよび可視化構造の深い表現を組み合わせた、ワイド＆ディープなニューラルネットワークを設計する。
• 大規模な実際のデータセットと関連する可視化のコーパスを用いて、エンドツーエンドでモデルを学習し、可視化の有効性スコアを予測する。
• 学習済みのパターンに従って、訓練データから得た知見を基に、未確認の新しいデータセットに対して可視化を生成・スコア付け・ランク付けする。
• 人間のデザインの好み（例：縦方向のレイアウトよりも横方向のレイアウトを好む）を、ハードコードされたルールではなく、データ駆動の信号としてモデルに組み込む。
• 未確認のデータに対するランク付けの質とモデルのパフォーマンスを定量的に評価する包括的な評価フレームワークを開発する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型でエンドツーエンドの機械学習モデルは、ルールベースのシステムよりも効果的な可視化を推薦できるか？
• RQ2 再トレーニングや手動の設定なしに、モデルは新しい未確認のデータセットにどの程度一般化できるか？
• RQ3 ルールベースのシステムで一般的な同点スコア問題を、モデルはどの程度解消できるか？（多くの可視化が同じスコア0を受ける）
• RQ4 専門家は、MLベースのシステムが推薦する可視化とルールベースのシステムが推薦する可視化の品質と有用性をどの程度高く評価するか？
• RQ5 モデルは、既存のルールベースのシステムに記述されていない、データから学習できるデザインおよびレイアウトの好みをどの程度学習できるか？

主な発見

• MLベースのシステムは、専門家の好みスコア平均が7点中5.92点に達し、ルールベースのシステムの3.45点よりも顕著に高いことが示され、人間の好みに強く適合していることがわかった。
• 20名の専門家を対象としたユーザースタディでは、MLベースのシステムの上位ランク可視化が、専門家の上位選択と完全に一致した。これは、専門家の判断と高い整合性があることを示している。
• ルールベースのシステムで一般的な同点スコア問題（多くの可視化がスコア0を受ける）を、連続的で区別可能なスコアを学習することで、モデルが効果的に解消した。
• ワイド＆ディープアーキテクチャは、横方向のレイアウトを縦方向のレイアウトよりも好むといった、複雑な可視化の好みを効果的に捉えており、専門家の実践と一致している。
• 定性的分析から、ルールベースのシステムに存在しない、非自明な微妙な可視化デザインルールが、データから学習されていることが明らかになった。
• 定量的評価により、モデルの可視化ランク付けが、ベースラインのルールベースのアプローチよりも顕著に効果的であることが確認された。