[論文レビュー] ISEEQ: Information Seeking Question Generation using Dynamic Meta-Information Retrieval and Knowledge Graphs

Manas Gaur, Kalpa Gunaratna+2 more|arXiv (Cornell University)|Dec 12, 2021

Topic Modeling被引用数 4

ひとこと要約

ISEEQ は、動的知識グラフ統合と強化学習を用いて、短いユーザークエリから情報探索用質問（ISQ）を生成するための新規フレームワークである。知識の強化によりクエリ理解を向上させ、文脈的に関連する本文を取得し、意味的に整合性があり多様な ISQ を生成する。4つのデータセットでベースラインを上回り、ドメイン間の一般化能力も優れている。

ABSTRACT

Conversational Information Seeking (CIS) is a relatively new research area within conversational AI that attempts to seek information from end-users in order to understand and satisfy users' needs. If realized, such a system has far-reaching benefits in the real world; for example, a CIS system can assist clinicians in pre-screening or triaging patients in healthcare. A key open sub-problem in CIS that remains unaddressed in the literature is generating Information Seeking Questions (ISQs) based on a short initial query from the end-user. To address this open problem, we propose Information SEEking Question generator (ISEEQ), a novel approach for generating ISQs from just a short user query, given a large text corpus relevant to the user query. Firstly, ISEEQ uses a knowledge graph to enrich the user query. Secondly, ISEEQ uses the knowledge-enriched query to retrieve relevant context passages to ask coherent ISQs adhering to a conceptual flow. Thirdly, ISEEQ introduces a new deep generative-adversarial reinforcement learning-based approach for generating ISQs. We show that ISEEQ can generate high-quality ISQs to promote the development of CIS agents. ISEEQ significantly outperforms comparable baselines on five ISQ evaluation metrics across four datasets having user queries from diverse domains. Further, we argue that ISEEQ is transferable across domains for generating ISQs, as it shows the acceptable performance when trained and tested on different pairs of domains. The qualitative human evaluation confirms ISEEQ-generated ISQs are comparable in quality to human-generated questions and outperform the best comparable baseline.

研究の動機と目的

• 会話型情報探索（CIS）における短いユーザークエリから、高品質で好奇心駆動型の情報探索用質問（ISQ）を自動的に生成するという未解決問題に取り組むこと。
• 専門家が整備した知識グラフを統合することで、クエリの意味的表現を強化し、より良い文脈の抽出を可能にすること。
• 強化学習に基づく生成戦略により、生成された ISQ が概念的流れ（意味的関係と論理的整合性）を保つようにすること。
• 各ドメインごとに新たなクラウドソーシングデータ収集を必要とせずに、ドメイン間での一般化を可能にすること。
• CISシステム開発を加速するために、自動データセット作成のスケーラブルなパイプラインを確立すること。

提案手法

• ISEEQ は知識グラフを用いて、初期の短いユーザークエリに意味的エンティティと関係を追加し、後続の検索に適したクエリ表現を向上させる。
• 拡張されたクエリを用いて、大規模なコーパスから動的かつ知識に配慮した本文検索を実行し、質問生成に適した文脈的に関連する本文を特定する。
• 生成的敵対的強化学習（ERL）フレームワークを採用し、概念的流れと論理的整合性に基づいて報酬を設計することで、ISQ生成器を学習する。
• 報酬モデルは、意味的関連性、多様性、ISQ間の論理的進行を最適化するために訓練され、含意制約と文の流れの良さの指標が使用される。
• 2段階の訓練プロセスを採用する：まず、教師あり ISQ データで T5 ベースのシーケンス・ツー・シーケンス モデルを微調整し、次に人間のフィードバック信号を含む強化学習によりさらに最適化する。
• ハイパーパramータ は Ray を用いて調整され、α（0.1971）、γ（0.12）、学習率 1.17e-5 の特定値が設定され、4台の V100 GPU を用いて 100～120 エポック分訓練される。

実験結果

リサーチクエスチョン

• RQ1 専門家が整備した知識源（例：知識グラフ）は、ISQ の文脈の検索と質問生成を改善できるか？
• RQ2 ISEEQ は意味的関係と論理的整合性（概念的流れ）を保った ISQ を生成できるか？
• RQ3 ISEEQ はドメインをまたいで一般化でき、新たなドメインに対して新たなクラウドソーシングデータ収集を必要とせずに高品質な ISQ を生成できるか？
• RQ4 トレーニングとテストが異なるドメインで行われるクロスドメイン設定において、ISEEQ はどのように性能を発揮するか？
• RQ5 強化学習モジュールは、多様で流暢で文脈的に整合性のある ISQ の生成を効果的に導けるか？

主な発見

• ISEEQ は、QAD、QAMR、FBC、CAsT-19 の4つの多様なデータセットにおいて、5つの ISQ 評価指標すべてで競合する T5 ベースおよび微調整ベースラインを顕著に上回った。
• QAMR データセットでは、ROUGE-L スコアが 0.74、F1 スコアが 0.89、概念的流れスコアが 77.8% を達成し、最良のベースラインを上回った。
• クロスドメイン転送実験では、トレーニングデータがテストデータより小さい状況でも、ISEEQ-ERL は {QAD-QAMR} および {QAMR-FBC} のペアで妥当な性能を示した。
• 人間評価では、ISEEQ が生成した ISQ は人間が作成した質問（S1）と統計的に同等であり、T5-FT CANARD ベースライン（S3）よりも顕著に優れていた。S1 と S2 の間には有意差は認められなかった。
• 本システムは強力な一般化能力を示し、狭義のドメイン（FBC）で学習した ISEEQ が、汎用ドメインに対しても高品質な ISQ を生成できた。これはゼロショットまたはフェイワショット適応の可能性を示している。
• 分散分析（ANOVA）と事後分析により、ISEEQ と人間が生成した ISQ が、ベースラインよりも顕著に多様性と整合性に優れていることが確認された。S1 と S2 の平均スコアに統計的差は認められなかった。