[論文レビュー] Question Answering is a Format; When is it Useful?

Matt Gardner, Jonathan Berant+3 more|arXiv (Cornell University)|Sep 25, 2019

Multimodal Machine Learning Applications参考文献 38被引用数 21

ひとこと要約

この論文は、質問・回答（QA）を自然言語処理（NLP）における独立したタスクではなく、柔軟なフォーマットとして捉えるべきだと主張している。QAは、質問の理解が不可欠—つまり、質問を単純な識別子に置き換えられない場合に最も有用である。主なユースケースは3つ：人間の情報ニーズを満たすこと、複雑なタスクにおける柔軟なアノテーションを可能にすること、共有アーキテクチャを通じたモデルの転送を可能にすること。主な貢献は、概念的混乱を軽減し、より良いデータセット設計を導くために、QAをフォーマットとして再定式化することにある。

ABSTRACT

Recent years have seen a dramatic expansion of tasks and datasets posed as question answering, from reading comprehension, semantic role labeling, and even machine translation, to image and video understanding. With this expansion, there are many differing views on the utility and definition of "question answering" itself. Some argue that its scope should be narrow, or broad, or that it is overused in datasets today. In this opinion piece, we argue that question answering should be considered a format which is sometimes useful for studying particular phenomena, not a phenomenon or task in itself. We discuss when a task is correctly described as question answering, and when a task is usefully posed as question answering, instead of using some other format.

研究の動機と目的

• 自然言語処理（NLP）およびコンピュータビジョンにおける「質問・回答」とは何かという概念的混乱を解消すること。
• QAをタスクとしてではなくフォーマットとして扱うことで、データセットにおける過剰使用や誤分類を回避すること。
• QAとしてタスクを提示することで研究の成果が向上する、明確に正当化できる具体的なユースケースを特定すること。
• 形式的定式化が不足している場合に、新しいデータセットの適切なフォーマット選定を研究者に指南すること。
• フォーマットの適切さに焦点を当てることで、重複や正当性の欠如するQAデータセットの増加を抑制すること。

提案手法

• 質問理解の必要性に基づいて、QAが有用なフォーマットであると判断するためのフレームワークを提案すること。
• 質問理解が非自明なタスク（QAが有用）と、質問が識別子に置き換え可能なタスク（QAは不要）にタスクを分類すること。
• 既存のデータセットやタスクを分析し、QAフォーマットがアノテーションの柔軟性、モデルの転送、人間との整合性をどのように向上させるかを検証すること。
• 「どこ」を場所に、「何」をエンティティにマッピングするような質問テンプレートを通じて、誘導的バイアス（inductive biases）を提供する事例を強調すること。
• 事前学習なしでQAテンプレートが性能向上に寄与する関係抽出やエンティティ追跡の分野において、QAベースの転移学習の成功を評価すること。
• 標準的な共有表現アプローチと比較して、多様なタスクをQAとして提示したマルチタスク学習の成績が、タスクが類似していない場合には限定的であることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 あるNLPタスクに対して、QAがタスクそのものではなくフォーマットとして有用であるのはいつか？
• RQ2 本質的に質問理解を要するタスクと、単にダミーの置き換えとして質問が使われるタスクの違いは何か？
• RQ3 非QAタスクをQAとして提示することで、モデル性能やアノテーション効率が向上する状況はどのようなものか？
• RQ4 QAフォーマットは、多様なNLPタスク間での転送学習をどのように支援できるか？
• RQ5 なぜQAを広くフォーマットとして用いるようになると、NLP研究における概念的・方法論的混乱が生じたのか？

主な発見

• QAは概念的拡張を避け、データセット設計の明確化を図るため、タスクではなくフォーマットとして捉えるべきである。
• QAは、質問の理解が非自明—つまり、質問を整数のIDに置き換えてもタスクの意味が変わらない場合に最も有用である。
• 読解や常識的推論のようなタスクでは、自然言語の質問がモデル理解の柔軟で人間との整合性のあるプローブを提供するため、QAは有益である。
• 一部のケースでは、QAテンプレートが有用な誘導的バイアスを提供し、たとえば「どこ」を空間的位置にマッピングすることで、関係抽出などのタスクで性能向上が見られる。
• QAフォーマットによる転送学習は、元のタスクとターゲットタスクが非常に類似している場合にのみ有効であり、関係抽出やエンティティ追跡の実験から明らかになった。
• 多様なタスクをQAとして提示したマルチタスク学習は、タスク固有のヘッドを持つ共有表現アプローチと比較して一般的に成績が劣るため、QAフォーマットの広範な転送へのスケーラビリティは限定的である。