[論文レビュー] MultiVision: Designing Analytical Dashboards with Deep Learning Based Recommendation

Aoyu Wu, Yun Wang+5 more|arXiv (Cornell University)|Jul 16, 2021

Data Visualization and Analytics参考文献 69被引用数 4

ひとこと要約

MultiVisionは、個々の図や図の組み合わせを評価することで、分析ダッシュボード用の複数視覚的表現を推薦する深層学習ベースのミックスド・イニシアチブ・システムを提案する。Excelの表とプロビジョニティログの大量コーパスを活用してモデルを学習させ、図の品質をランク付けすることで、ダッシュボード作成における手作業の負担を顕著に軽減し、ユーザー研究においてルールベースおよび既存の機械学習ベースの推薦手法を上回る性能を示した。

ABSTRACT

We contribute a deep-learning-based method that assists in designing analytical dashboards for analyzing a data table. Given a data table, data workers usually need to experience a tedious and time-consuming process to select meaningful combinations of data columns for creating charts. This process is further complicated by the need of creating dashboards composed of multiple views that unveil different perspectives of data. Existing automated approaches for recommending multiple-view visualizations mainly build on manually crafted design rules, producing sub-optimal or irrelevant suggestions. To address this gap, we present a deep learning approach for selecting data columns and recommending multiple charts. More importantly, we integrate the deep learning models into a mixed-initiative system. Our model could make recommendations given optional user-input selections of data columns. The model, in turn, learns from provenance data of authoring logs in an offline manner. We compare our deep learning model with existing methods for visualization recommendation and conduct a user study to evaluate the usefulness of the system.

研究の動機と目的

• 分析ダッシュボードのためのデータカラムおよび図の組み合わせの選択が時間のかかる、専門的知識に依存する手作業の課題に対処すること。
• 単一の図に焦点を当てた既存のルールベースおよび機械学習ベースの視覚的表現推薦手法に見られる、包括的な複数視覚的デザインをサポートしないという制限を克服すること。
• 自動化と人間の専門知識のバランスを取るために、深層学習モデルとユーザーの制御を統合したミックスド・イニシアチブ・システムを開発すること。
• 作成ログからのプロビジョニティデータを活用して、実世界のダッシュボード作成パターンから学習するモデルを訓練すること。
• 比較的モデル評価とユーザー研究を通じて、システムの有効性を評価すること。

提案手法

• 20万件を超えるExcelデータテーブルおよび図のコーパス上で深層学習モデルを学習させ、データカラム選択と図のエンコーディングに基づいて個々の視覚的表現の品質を評価する。
• プロビジョニティデータ（すなわち、ユーザーの作成ログ）から学習する第二の深層学習モデルを設計し、ダッシュボード用に最適な複数図の組み合わせを推薦する。
• 両方のモデルを、ユーザーが図をロックしたり、図の種別を指定したりできる、相互作用型のミックスド・イニシアチブ・システムに統合する。
• 二段階の推薦パイプラインを採用する：まず、学習済みの品質スコアに基づいて個々の図を推薦し、次に、図の多様性、一貫性、整合性を考慮して推薦を最適化する。
• ユーザーのフィードバックとインタラクションログを活用して、推薦戦略を改善し、システムの使いやすさを向上させる。
• データカラム、図、視覚的表現の文法を組み合わせた構造的で宣言的表現としてダッシュボードを表現することで、共有可能な機械学習の基盤を実現する。

Figure 1: MultiVision is a mixed-initiative system that generates a multiple-view visualization given a data table. The automation consists of deep learning models that learn to assess the quality of a single chart and multiple charts from a chart corpus and provenance data. The assessment models, c

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、単一図の推薦を越えて、分析ダッシュボード用に意味のある複数図の組み合わせを効果的に推薦することができるか？
• RQ2 実際の作成ログに基づいて学習された深層学習モデルは、ルールベースまたはヒューリスティック手法と比較して、どの程度推薦品質が向上するか？
• RQ3 深層学習をミックスド・イニシアチブ・システムに統合することで、ダッシュボード作成におけるユーザーの生産性と満足度にどのような影響を与えるか？
• RQ4 ユーザー入力（例：ロックされた図）は、深層学習ベースの推薦をどの程度改善するか？
• RQ5 実際のダッシュボード作成ワークフローから得たプロビジョニティデータは、新しいデータセットに一般化可能なモデルを訓練するために効果的に活用できるか？

主な発見

• 大規模なExcelテーブルコーパス上で学習された深層学習モデルは、既存のルールベースおよび機械学習ベースの手法を著しく上回り、高品質な個々の図の推薦を実現した。
• プロビジョニティデータ上で学習されたモデルは、ユーザーの好みとデザインパターンを効果的に捉え、一貫性があり多様で整合性のある複数視覚的ダッシュボードの推薦に成功した。
• ユーザー研究の結果、参加者はシステムの推薦を有用と評価したが、適切にタイミングをずらさない限り、積極的な推薦は役立つが、干渉的である可能性があると感じた。
• 受動的な推薦戦略はあまり使われにくく、自動化とユーザー制御のバランスを取るスマートなインタラクション設計の必要性が示された。
• 本システムは、深層学習とユーザーを含めた作成プロセスを統合することで、完全に手作業または完全に自動化されたアプローチと比較して、ダッシュボード作成の効率性と品質が向上することを示した。
• 複数視覚的推薦の公平なベースラインが存在しないことから、MultiVisionのアプローチの新規性が浮き彫りになり、この分野における標準化されたベンチマークの必要性が強調された。

Figure 2: We abstract the recommendation problem into machine learning tasks: A We model the relationships among data columns, charts, and multiple-view visualizations using a three-layered heterogeneous graph; B For each node, the goal is to convert node features into a quality score; C Thus, the p