[論文レビュー] Quda: Natural Language Queries for Visual Data Analytics

Siwei Fu, Kai Xiong+4 more|arXiv (Cornell University)|May 7, 2020

Data Visualization and Analytics参考文献 62被引用数 13

ひとこと要約

本論文では、視覚的データ分析における1つ以上の分析的タスクを付与された自然言語クエリ14,035件を含む大規模かつ高品質なデータセット、Qudaを紹介する。著者らはインタビューを通じて専門家のクエリを収集し、クラウドソーシングを用いて類義語表現を拡張し、品質を保証するため機械学習ベースの検証手法を適用することで、自然言語理解における可視化システム向けのマルチラベル分類モデルのトレーニングおよびベンチマークが可能になる。

ABSTRACT

The identification of analytic tasks from free text is critical for visualization-oriented natural language interfaces (V-NLIs) to suggest effective visualizations. However, it is challenging due to the ambiguity and complexity nature of human language. To address this challenge, we present a new dataset, called Quda, that aims to help V-NLIs recognize analytic tasks from free-form natural language by training and evaluating cutting-edge multi-label classification models. Our dataset contains $14,035$ diverse user queries, and each is annotated with one or multiple analytic tasks. We achieve this goal by first gathering seed queries with data analysts and then employing extensive crowd force for paraphrase generation and validation. We demonstrate the usefulness of Quda through three applications. This work is the first attempt to construct a large-scale corpus for recognizing analytic tasks. With the release of Quda, we hope it will boost the research and development of V-NLIs in data analysis and visualization.

研究の動機と目的

• 可視的データ分析における自由形式の自然言語クエリから分析的タスクを正確に同定する課題に対処すること。
• 現実世界のデータアナリストのクエリおよびその意味的変異を反映した大規模かつ高品質なデータセットを作成すること。
• V-NLIシステムにおけるユーザークエリのマルチラベル分類のためのディープラーニングモデルのトレーニングおよび評価を可能にすること。
• クエリ理解および推薦を通じて、可視化推薦システムのロバスト性と使いやすさを向上させること。
• 今後の自然言語インタフェースに関する研究、特に複数回の対話や文脈的クエリ理解を含む、データ可視化分野における基盤を確立すること。

提案手法

• 20名のデータアナリストを対象としたラボスタディを実施し、多様な分析的タスクを代表する920件のシードクエリを収集した。
• クラウドソーシングを用いて、1件のシードクエリあたり平均14件の類義語表現を生成し、データの多様性と量を拡大した。
• クラウドワーカーを用いたペairワイズ比較法により、類義語表現間の意味的同等性を評価した。
• 相対的属性法（Parikh and Grauman, 2011）を用いて意味的同等性スコアを算出し、低品質な類義語表現をフィルタリングした。
• 全クエリに10種類の事前に定義された低レベルの分析的タスクの1つ以上をアノテーションすることで、マルチラベル分類を可能にした。
• 最終的なQudaデータセット上でマルチラベル分類モデルをトレーニングおよび評価し、モデルのパフォーマンスと有用性を評価した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ専門家がアノテートした自然言語クエリデータセットは、可視化システムにおける分析的タスク認識の正確性を向上させることができるか？
• RQ2 専門家の入力とクラウドソーシングによる類義語表現のハイブリッドアプローチは、多様性と高品質なトレーニングデータの作成にどの程度効果的か？
• RQ3 Qudaデータセットは、V-NLIにおける堅牢なクエリ理解および推薦システムの開発をどの程度支援できるか？
• RQ4 Qudaデータセットは、視覚的分析における異なるデータテーブルやドメインにわたる一般化性能の高いモデルのトレーニングに使用可能か？
• RQ5 大量のデータにおいて、クラウドソーシングによる類義語表現の品質を効果的に検証する方法は何か？

主な発見

• Qudaデータセットには14,035件のクエリが含まれており、うち920件が専門家のクエリで、1件あたり平均14.14件の類義語表現が付与されており、多様で包括的なコーパスが構築された。
• マルチラベル分類に対して挑戦的であることが示され、V-NLIタスク認識のためのディープラーニングモデルの改善の余地があることを示している。
• Qudaでトレーニングされたモデルは、既存のV-NLIツールキットにおけるタスク推論のロバスト性を顕著に向上させ、厳密なルールベースのパースに依存するのを減らした。
• Qudaを活用して構築されたクエリ推薦技術は、部分的な入力に基づき関連性の高い意味的に類似したクエリを提示することで、ユーザーのインタラクションを著しく加速した。
• ペアワイズ比較と意味的スコアリングを用いた検証パイプラインは、大量のデータであっても低品質な類義語表現を効果的にフィルタリングし、データセットの品質を確保した。
• 著者らは、Qudaがクエリ推薦やタスク推論といった実用的応用を可能にすることを実証し、単なるベンチマークを超えた実用的価値を有することを示した。