[論文レビュー] Zero-Shot Visual Slot Filling as Question Answering.

Larry Heck, Simon Heck|arXiv (Cornell University)|Nov 24, 2020

Multimodal Machine Learning Applications参考文献 24被引用数 4

ひとこと要約

本論文は、スロットフィリングを質問応答として再定式化することにより、ゼロショット視覚的スロットフィリング手法を提案する。スロットタグを自然言語の質問に変換し、SQuaD2で微調整されたALBERTモデルを用いてユーザー発話から答えを抽出する。さらに、精練のためのマルチタスク学習アプローチを導入する。この手法は、ゼロショット視覚的スロットおよびATISデータセットでF1スコア0.52〜0.60を達成し、ラベル付き学習データが不要な状態でも有効な転移学習を示している。

ABSTRACT

This paper presents a new approach to visual zero-shot slot filling. The approach extends previous approaches by reformulating the slot filling task as Question Answering. Slot tags are converted to rich natural language questions that capture the semantics of visual information and lexical text on the GUI screen. These questions are paired with the user's utterance and slots are extracted from the utterance using a state-of-the-art ALBERT-based Question Answering system trained on the Stanford Question Answering dataset (SQuaD2). An approach to further refine the model with multi-task training is presented. The multi-task approach facilitates the incorporation of a large number of successive refinements and transfer learning across similar tasks. A new Visual Slot dataset and a visual extension of the popular ATIS dataset is introduced to support research and experimentation on visual slot filling. Results show F1 scores between 0.52 and 0.60 on the Visual Slot and ATIS datasets with no training data (zero-shot).

研究の動機と目的

• ラベル付き学習データが乏しいGUIベースの対話システムにおけるゼロショット視覚的スロットフィリングの課題に対処すること。
• GUIのテキストと視覚的意味を捉えた自然言語の質問を用いることで、スロットフィリングの一般化性能を向上させること。
• 関連するタスク間での転移学習を可能にするマルチタスク学習フレームワークを用いて、反復的精錬を支援すること。
• ゼロショット視覚的スロットフィリング研究を支援するため、新しい視覚的スロットデータセットとATISデータセットの視覚的拡張版を導入すること。

提案手法

• スロットタグをGUIの視覚的意味とテキストを捉えた豊富な自然言語の質問に再定式化する。
• 各ユーザー発話をこれらの質問テンプレートとペアにし、SQuaD2で微調整された事前学習済みALBERTモデルを用いて答えを抽出する。
• スロットフィリングと補助タスクを同時に最適化するマルチタスク学習を適用し、転移学習と反復的精錬を可能にする。
• ゼロショット性能の評価を目的として、新しい視覚的スロットデータセットとATISデータセットの視覚的拡張版を導入する。
• ALBERTベースのQAシステムを用いて、発話からスパンベースの答えを予測し、スロットフィリングを読解理解タスクとして扱う。
• 自然言語の質問の意味的豊かさを活用することで、従来のスロットタギングをはるかに超えるゼロショット一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スロットフィリングを質問応答タスクとして再定式化することで、GUIベースの視覚的スロットフィリングにおけるゼロショット性能が向上するか？
• RQ2 ラベル付きデータが存在しない状況下で、マルチタスク学習が視覚的スロットフィリングモデルの精錬にどの程度効果的か？
• RQ3 関連するQAデータセットで微調整された事前学習済みQAモデルが、視覚的スロットフィリングにどの程度一般化可能か？
• RQ4 ゼロショット環境下において、自然言語の質問の使用と直接的なスロットタギングの比較で、どのような差が生じるか？
• RQ5 データセット設計が、ゼロショット視覚的スロットフィリング性能に与える影響はどの程度か？

主な発見

• 提案されたQAベースのアプローチは、ゼロショット視覚的スロットおよびATISデータセットでF1スコア0.52〜0.60を達成し、ラベル付き学習データが一切不要な状態でも強力な一般化性能を示している。
• マルチタスク学習により、効果的な転移学習が可能となり、反復的精錬が可能となり、モデルの頑健性と性能が向上した。
• 自然言語の質問の使用により、GUIコンテンツとユーザー発話の間の意味的整合性が顕著に向上し、スロット検出性能が向上した。
• 導入された視覚的スロットデータセットとATISデータセットの視覚的拡張版は、今後のゼロショット視覚的スロットフィリング研究における貴重なベンチマークを提供している。
• ALBERTモデルをSQuaD2で微調整することで、視覚的スロットフィリングへの強いゼロショット転移が可能となり、事前学習済みQAモデルの有効性が裏付けられた。
• 文脈的および視覚的意味をよりよく捉えることができるため、本手法はゼロショット状況下で従来のスロットフィリング手法を上回った。