[論文レビュー] nvBench: A Large-Scale Synthesized Dataset for Cross-Domain Natural Language to Visualization Task

Yuyu Luo, Jiawei Tang+1 more|arXiv (Cornell University)|Dec 24, 2021

Data Visualization and Analytics被引用数 11

ひとこと要約

本稿では、750のテーブルと105のドメインをカバーする25,750組の(NL, VIS)ペアを含む、クロスドメイン自然言語から可視化（NL2VIS）タスク向けの最初の大規模な合成ベンチマークであるnvBenchを紹介する。既存のNL2SQLベンチマークを活用して、多様で高品質な(NL, VIS)ペアを自動生成し、ncNetのようなディーブラーニングモデルの効果的な学習を可能にする。このモデルはNL2VIS翻訳において人間並みの性能を達成する。

ABSTRACT

NL2VIS - which translates natural language (NL) queries to corresponding visualizations (VIS) - has attracted more and more attention both in commercial visualization vendors and academic researchers. In the last few years, the advanced deep learning-based models have achieved human-like abilities in many natural language processing (NLP) tasks, which clearly tells us that the deep learning-based technique is a good choice to push the field of NL2VIS. However, a big balk is the lack of benchmarks with lots of (NL, VIS) pairs. We present nvBench, the first large-scale NL2VIS benchmark, containing 25,750 (NL, VIS) pairs from 750 tables over 105 domains, synthesized from (NL, SQL) benchmarks to support cross-domain NL2VIS task. The quality of nvBench has been extensively validated by 23 experts and 300+ crowd workers. Deep learning-based models training using nvBench demonstrate that nvBench can push the field of NL2VIS.

研究の動機と目的

• クロスドメイン自然言語から可視化（NL2VIS）タスク向けに大規模かつ高品質なベンチマークが不足している問題に対処する。
• 多様で現実的ないくつかの(NL, VIS)ペアを提供することで、ディーブラーニングベースのモデルが強力なNL2VIS翻訳を学習できるようにする。
• ドメインや可視化タイプをまたいで一般化できるエンドツーエンドのニューラルモデルの開発を支援する。
• スケーラブルで拡張可能なベンチマーク基盤を提供することで、会話型および不完全なNL2VISに関する研究を促進する。
• エキスパートおよびクラウドワーカーによる評価を通じてベンチマークの品質を検証し、実世界への適用可能性を保証する。

提案手法

• 既存のNL2SQLベンチマークを活用して、SQLと可視化クエリの間の意味的整合性を用いて(NL, VIS)ペアを合成する。
• 各NLクエリを対応するSQLクエリにマッピングし、事前に定義されたルールを用いてSQLをVega-Lite互換の可視化仕様（VIS）に変換する。
• データ拡張技術を適用して、1つのSQLクエリごとに複数のNLバージョンを生成し、多様性とカバレッジを向上させる。
• 2段階のプロセスを採用する：第一段階では、テンプレートベースおよび言い換え手法を用いてSQLからNLクエリを生成する。第二段階では、ルールベースのVIS生成エンジンを介して各NL-SQLペアをVISクエリにマッピングする。
• エキスパートレビュー（23名のエキスパート）およびクラウドソーシング（300名以上）を用いて、合成されたペアの品質と正しさを検証・フィルタリングする。
• 注意メカニズムを備えたシーケンス・ツー・シーケンスモデリングを用いて、エンドツーエンドのNL2VIS翻訳を学習するncNetというディーブラーニングモデルをnvBenchで訓練する。

実験結果

リサーチクエスチョン

• RQ1 既存のNL2SQLベンチマークから手動のアノテーションを一切行わずに、大規模で多様かつ高品質な(NL, VIS)ベンチマークを効率的に合成できるか？
• RQ2 nvBenchで学習したディーブラーニングモデルが、クロスドメインNL2VISでどの程度人間並みの性能を達成できるか？
• RQ3 nvBenchは、異なるドメイン、可視化タイプ、クエリの複雑さのレベルにおいて、どの程度一般化できるか？
• RQ4 nvBenchは、会話型クエリや不完全なクエリの処理といった高度なNL2VIS機能をサポートできるか？
• RQ5 ベンチマークの品質と規模が、エンドツーエンドのNL2VISモデルの性能に与える影響は何か？

主な発見

• nvBenchには、750のテーブルと105の多様なドメインをカバーする25,750組の(NL, VIS)ペアが含まれており、スケールとクロスドメインカバレッジの面で、これまでのベンチマークを大きく上回っている。
• 23名のエキスパートおよび300名以上のクラウドワーカーによる評価を通じて、合成された(NL, VIS)ペアの高品質さと意味的正確性が確認された。
• nvBenchで学習したディーブラーニングモデルncNetは、NL2VIS翻訳において人間並みの性能を達成しており、ベンチマークのモデル学習に対する有効性を示している。
• 合成パイプラインにより、SQLから多様なNLクエリを自動生成できるようになり、スケーラビリティおよび新規ドメインや可視化タイプへの拡張性が確保された。
• nvBenchは、線形図、棒グラフ、散布図などの7つの一般的な可視化タイプをサポートしており、ヒートマップ、ボックスプロット、複雑な可視化への拡張も可能である。
• nvBenchは、部分的または曖昧なクエリをモデル化する基盤を提供するため、今後の会話型NL2VISおよび不完全なクエリ処理に関する研究を可能にする。