[論文レビュー] Towards Natural Language-Based Visualization Authoring

Yun Wang, Zhitao Hou+6 more|arXiv (Cornell University)|Aug 23, 2022

Software Engineering Research被引用数 6

ひとこと要約

本論文は、実行可能な「編集アクション」と呼ばれる構造化コマンド（ユーザーの編集意図をモデル化）を介して、自然言語理解と可視化ツールを分離する、自然言語ベースの可視化作成パイプラインを提案する。深層学習ベースのNLインタプリタにより自然言語をこれらのアクションに変換し、Excel やプロトタイプ版エディタである VisTalk といった異なるツール間で再利用可能であることを示しており、ユーザースタディによりその使いやすさが検証されている。

ABSTRACT

A key challenge to visualization authoring is the process of getting familiar with the complex user interfaces of authoring tools. Natural Language Interface (NLI) presents promising benefits due to its learnability and usability. However, supporting NLIs for authoring tools requires expertise in natural language processing, while existing NLIs are mostly designed for visual analytic workflow. In this paper, we propose an authoring-oriented NLI pipeline by introducing a structured representation of users' visualization editing intents, called editing actions, based on a formative study and an extensive survey on visualization construction tools. The editing actions are executable, and thus decouple natural language interpretation and visualization applications as an intermediate layer. We implement a deep learning-based NL interpreter to translate NL utterances into editing actions. The interpreter is reusable and extensible across authoring tools. The authoring tools only need to map the editing actions into tool-specific operations. To illustrate the usages of the NL interpreter, we implement an Excel chart editor and a proof-of-concept authoring tool, VisTalk. We conduct a user study with VisTalk to understand the usage patterns of NL-based authoring systems. Finally, we discuss observations on how users author charts with natural language, as well as implications for future research.

研究の動機と目的

• 複雑な可視化作成ツールの高い習得コストを低減し、自然言語入力を可能にする。
• 豊富な編集意図（例：マークのカスタマイズやレイアウト変更）をサポートしない既存の分析指向NLIsの制限を克服する。
• 標準化された中間層としての実行可能な編集アクションを介して、自然言語理解と可視化アプリケーションを分離する。
• 編集操作を共通のアクション形式に抽象化することで、異なる作成ツール間でNLインタプリタを再利用可能にする。
• Excelとプロトタイプ版ツールであるVisTalkへの実装を通じて、フレームワークの実現可能性を実証する。

提案手法

• 可視化編集意図をモデル化するため、操作、対象オブジェクト、パラメータからなる構造化タプルとして「編集アクション」を定義する。
• フォーマティブスタディおよび文献調査を通じて、可視化ツールで使用される主要な編集操作、オブジェクト、パラメータを同定する。
• マルチステージのNLインタプリタを設計：第一段階はエンティティ認識と抽象的引数の置換、第二段階は意図とエンティティの抽出のためのシーケンスラベル付け、第三段階は編集アクションのシーケンスへの合成。
• 意図とエンティティ抽出に深層シーケンスラベルモデルを用い、より多くの訓練データでスケーラビリティと拡張性を実現する。
• 可視化ツール内に操作マッパーを実装し、編集アクションをツール固有のコマンドに変換する。
• 2つの実装（Excelチャートエディタとプロトタイプ版の作成ツールVisTalk）を通じてパイプラインを評価する。

実験結果

リサーチクエスチョン

• RQ1 自然言語の発話で表現される可視化編集意図を、実行可能なアクションとして体系的にモデル化する方法は何か？
• RQ2 共通のNLインタプリタは、異なる可視化作成ツール間でどの程度再利用可能か？
• RQ3 ユーザーは自然言語で可視化編集コマンドをどのように自然に表現するのか？その使用パターンにはどのような特徴があるか？
• RQ4 マーク変更、レイアウト調整、データバインディングといった多様な編集意図を自然言語でサポートするにあたり、どのような課題があるか？
• RQ5 正確性と使いやすさを維持しながら、ユーザー発話の曖昧さや多様性をどのように処理できるか？

主な発見

• 提案された編集アクションの抽象化は、データバインディング、マークカスタマイズ、レイアウト調整を含む多様な可視化編集意図を効果的にモデル化している。
• 深層学習ベースのNLインタプリタは、自然言語を構造化された編集アクションに効果的に変換でき、ツール間での再利用を可能にしている。
• VisTalkを用いたユーザースタディでは、ユーザーが自然言語を用いて可視化を効果的に作成・編集でき、可能な限り高レベルのコマンドを好む傾向が明らかになった。
• 同じインタプリタを用いて、高レベルの作成（例：「棒グラフを作成」）と低レベルの編集（例：「色を粉赤に変更」や「凡例を右に移動」）の両方をサポートしている。
• NLインタプリタと可視化アプリケーションの責任分離により、モジュラーな開発と保守が容易になった。
• 研究では、サポートされていないコマンドを発行した際に、より良いコマンド推奨機能の必要性が浮き彫りになった。今後の研究の方向性として、スコープに配慮したフィードバックの向上が示唆された。