[論文レビュー] Conversations with Documents. An Exploration of Document-Centered Assistance

Maartje ter Hoeve, Robert B. Sim+4 more|UvA-DARE (University of Amsterdam)|Jan 27, 2020

Topic Modeling参考文献 43被引用数 27

ひとこと要約

本論文は、対話型AIが自然言語クエリを通じて業務関連文書の理解とレビューを支援する文書中心の支援に関する調査を実施している。本研究では、文書中心の質問を含む新しいデータセットを提示し、最先端の質問応答モデルがこの新規なタスクに微調整されることで妥当な性能を達成できることを示し、文書中心のQAと従来のfactoid QAクエリとの間の重要な差異を同定している。

ABSTRACT

The role of conversational assistants has become more prevalent in helping people increase their productivity. Document-centered assistance, for example to help an individual quickly review a document, has seen less significant progress, even though it has the potential to tremendously increase a user's productivity. This type of document-centered assistance is the focus of this paper. Our contributions are three-fold: (1) We first present a survey to understand the space of document-centered assistance and the capabilities people expect in this scenario. (2) We investigate the types of queries that users will pose while seeking assistance with documents, and show that document-centered questions form the majority of these queries. (3) We present a set of initial machine learned models that show that (a) we can accurately detect document-centered questions, and (b) we can build reasonably accurate models for answering such questions. These positive results are encouraging, and suggest that even greater results may be attained with continued study of this interesting and novel problem space. Our findings have implications for the design of intelligent systems to support task completion via natural interactions with documents.

研究の動機と目的

• 対話型アシスタントが文書の受領状況において期待される能力を理解すること。
• 共同作成やレビューを行っている文書に関して、ユーザーが支援を求めるために使用するクエリの種類を特定すること。
• 文書中心の質問と回答の新しいデータセットに対して、ベースライン機械学習モデルの性能を評価すること。
• 既存の質問応答システムを文書中心の支援に適応可能かどうかを検討すること。

提案手法

• 112名の参加者を対象にアンケートを実施し、文書中心の状況における望ましいアシスタントの機能と一般的なクエリタイプを特定した。
• 業務関連の文書1,000件を収集・アノテートし、それらに付随する1,000件の質問と文書内の回答スパンを含むデータセットを構築した。
• 回答選択のための6つのベースラインモデルを設計・適用した。これには、SQuAD2.0で微調整したBERT、DQA単体、両データセットでのハイブリッド微調整が含まれる。
• 文書中心の質問と標準QAモデルとの間の整合性を向上させるために、クエリリライト技術を適用した。
• F1および正確一致（EM）指標を用いて、ホールドアウトテストセット上でモデルを評価した。
• ベースモデルとしてBERT Largeを採用し、ドメイン固有のデータを用いたトランスファーラーニングを実施し、新しいタスクにおける性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 文書受領状況において、人々はどのような対話型支援を望んでいるのか？
• RQ2 文書に意識的なアシスタントと対話する際に、このような支援を得るために人々が使用するクエリの種類は何か？
• RQ3 初期のベースラインモデルは、文書中心の質問応答状況でどの程度の性能を示すのか？
• RQ4 一般ドメインQAデータ（SQuAD2.0）とドメイン固有のデータ（DQA）を組み合わせた場合、性能はどのように変化するのか？

主な発見

• DQAデータセットには、標準QAベンチマークにおける一般的なfactoid質問とは顕著に異なる文書中心の質問が多数含まれている。
• SQuAD2.0とDQAデータセットの両方でBERTを微調整したモデルが最良の性能を示し、DQAホールドアウトセットでF1スコア41.02、EM20.30を達成した。
• 標準QAベンチマークと比較して、DQAタスクにおける性能は顕著に低く、文書中心QAが別個で困難なドメインであることが示された。
• クエリリライトは性能向上に寄与しなかった。これは、このドメインでは現在のリライト戦略が単純すぎる可能性を示唆している。
• DQAデータのみで微調整したモデルは、SQuAD2.0のみで訓練されたモデルよりも優れた性能を示した。これはドメイン固有のデータの重要性を強調している。
• 結果から、ベースラインモデルは妥当な性能を示しているものの、より大規模かつ多様なデータセットと、より優れた適応技術の導入により、さらなる改善の余地があることが示唆された。