[論文レビュー] Data2Vis: Automatic Generation of Data Visualizations Using Sequence to Sequence Recurrent Neural Networks

Victor Dibia, Çağatay Demiralp|arXiv (Cornell University)|Apr 9, 2018

Data Visualization and Analytics被引用数 14

ひとこと要約

本稿では、可視化設計をニューラル機械翻訳タスクとして扱うことにより、生データからVega-Liteの可視化仕様を自動生成する、sequence-to-sequenceのディープラーニングモデルData2Visを提案する。Vega-Liteの仕様コーパスで訓練されたモデルは、データ属性および変換を適切な視覚的エンコーディングにマッピングし、最小限のユーザー入力で人間と競合する可視化を生成する。これは、エンドツーエンドのニューラル可視化生成の実現可能性を示している。

ABSTRACT

Rapidly creating effective visualizations using expressive grammars is challenging for users who have limited time and limited skills in statistics and data visualization. Even high-level, dedicated visualization tools often require users to manually select among data attributes, decide which transformations to apply, and specify mappings between visual encoding variables and raw or transformed attributes. In this paper we introduce Data2Vis, a neural translation model for automatically generating visualizations from given datasets. We formulate visualization generation as a sequence to sequence translation problem where data specifications are mapped to visualization specifications in a declarative language (Vega-Lite). To this end, we train a multilayered attention-based recurrent neural network (RNN) with long short-term memory (LSTM) units on a corpus of visualization specifications. Qualitative results show that our model learns the vocabulary and syntax for a valid visualization specification, appropriate transformations (count, bins, mean) and how to use common data selection patterns that occur within data visualizations. Data2Vis generates visualizations that are comparable to manually-created visualizations in a fraction of the time, with potential to learn more complex visualization strategies at scale.

研究の動機と目的

• 限られたデータリテラシーまたはプログラミングスキルを持つユーザーにとっても、迅速かつ正確に効果的な可視化を作成する課題に対処すること。
• Vega-Liteのような宣言的グラマーを用いた手動の可視化作成における認知的・技術的負担を軽減すること。
• 深層学習が、手動で定義されたヒューリスティクスに依存せず、既存の例から可視化設計ルールを暗黙的に学習できるかどうかを検討すること。
• ニューラルネットワークを用いて、データ可視化をsequence-to-sequence翻訳問題として定式化する可能性を示すこと。
• エンドツーエンドで訓練可能なモデルを通じて、より迅速かつスケーラブルで、よりアクセスしやすいデータ可視化を実現すること。

提案手法

• データから可視化への生成を、データ仕様をVega-Lite JSONベースの可視化仕様にマッピングするsequence-to-sequence翻訳問題として定式化する。
• 入力データと出力可視化の間の依存関係をモデル化するため、長短記憶（LSTM）ユニットとアテンション機構を備えたエンコーダ・デコーダアーキテクチャを用いる。
• 実データセットおよび既存の可視化例から得た1,000件のVega-Lite可視化仕様から構成されるコーパスでモデルを訓練する。
• 各行をフィールド名、型、値を表すトークンのシーケンスとしてエンコードすることで、入力データを前処理し、効率的なシーケンスモデリングを可能にする。
• 推論時にビームサーチデコードを採用し、1つのデータセットに対して複数の妥当な可視化出力を生成する。
• 訓練済みモデルを公開済みのWebアプリケーションに統合し、リアルタイムでの可視化生成を実証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルsequence-to-sequenceモデルは、生データから直接有効で適切なVega-Lite可視化仕様を生成できるか？
• RQ2 このようなモデルは、明示的なルール設計なしに、カウント、平均、ビンなど一般的なデータ変換および視覚的エンコーディングマッピングをどの程度適切に学習できるか？
• RQ3 正しさ、表現力、使いやすさの観点から、生成された可視化は手作業で作成されたものとどの程度同等か？
• RQ4 ビームサーチを用いることで、未観測のデータセットに対して多様で妥当な可視化を生成できるか？
• RQ5 特に平均や範囲などの分布レベルの特徴が入力表現に欠落している場合、現在のデータ表現の限界は何か？

主な発見

• モデルはVega-Liteの構文および語彙を正しく学習し、生データ入力から有効で意味的な可視化仕様を生成している。
• Data2Visは、単変量および二変量可視化を生成し、それらは手作業で作成されたものと質的に同等であり、作成時間を大幅に短縮している。
• モデルはカウント、ビン、平均といった一般的なデータ変換を学習しており、可視化に用いられる主要なデータ前処理パターンを捉えていることが示唆される。
• ビームサーチデコードにより、1つのデータセットから複数の妥当な可視化が生成可能であり、探索的データ分析を支援する。
• モデルは未観測のデータセットにも一般化可能であるが、入力表現に分布レベルの特徴（例：平均、範囲）が欠落しているため、性能に限界がある。
• 本アプローチは、エンドツーエンドのニューラル可視化生成のための実用的ベースラインを確立し、今後のマルチモーダルおよびマルチグラマー学習分野への道を開く。