[論文レビュー] Generative Language Models for Paragraph-Level Question Generation

Asahi Ushio, Fernando Alva-Manchego+1 more|arXiv (Cornell University)|Oct 8, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、パラグラフレベルの質問生成（QG）のための多言語・多ドメインベンチマーク「QG-Bench」を紹介し、既存のQAデータセットを統一された評価フレームワークに統合する。T5 や BART などの微調整済み生成言語モデルを用いて、SQuAD で事前学習したモデルがドメイン固有のデータで微調整されると優れた性能を示すことが実証された。特に T5-large は、理解可能性の手動評価スコアで 2.95 を達成した。一方で、ゼロショットのクロスリンガル転送における限界や、BLEU や ROUGE を超えるより良い自動評価指標の必要性が浮き彫りになった。

ABSTRACT

Powerful generative models have led to recent progress in question generation (QG). However, it is difficult to measure advances in QG research since there are no standardized resources that allow a uniform comparison among approaches. In this paper, we introduce QG-Bench, a multilingual and multidomain benchmark for QG that unifies existing question answering datasets by converting them to a standard QG setting. It includes general-purpose datasets such as SQuAD for English, datasets from ten domains and two styles, as well as datasets in eight different languages. Using QG-Bench as a reference, we perform an extensive analysis of the capabilities of language models for the task. First, we propose robust QG baselines based on fine-tuning generative language models. Then, we complement automatic evaluation based on standard metrics with an extensive manual evaluation, which in turn sheds light on the difficulty of evaluating QG models. Finally, we analyse both the domain adaptability of these models as well as the effectiveness of multilingual models in languages other than English. QG-Bench is released along with the fine-tuned models presented in the paper https://github.com/asahi417/lm-question-generation, which are also available as a demo https://autoqg.net/.

研究の動機と目的

• パラグラフレベルの質問生成（QG）モデルのドメインおよび言語間での標準化されたベンチマークの欠如を是正すること。
• 多様な質問・回答データセットを統合し、公平な比較が可能な一貫性のある QG ベンチマークに統一すること。
• 最先端の生成言語モデル（例：T5、BART）が QG タスクにおいて自動的および手動的評価を用いてどのように性能を発揮するかを評価すること。
• QG モデルのドメイン適応性およびゼロショットのクロスリンガル転送能力を調査すること。
• 自動評価指標（BLEU、METEOR、ROUGE）と人間の判断との相関関係、特に回答可能性（answerability）に関する分析。

提案手法

• SQuAD や 10 のドメイン固有データセット、8 の言語固有データセットを含む、既存の QA データセットを標準化された QG 形式に変換することで QG-Bench を構築。
• QG をテキスト対テキスト生成タスクとして扱い、T5 や BART、BART-large などのシーケンス・ツー・シーケンス生成言語モデルを QG-Bench データで微調整。
• 標準的な自動評価指標（BLEU4、METEOR、ROUGE-L）に加え、回答可能性、文法的正しさ、理解可能性について広範な手動評価を実施。
• 3 種類の微調整設定を比較するアブレーションスタディを実施：ドメイン内のみの微調整、SQuAD からのゼロショット転送、SQuAD 初期化後にドメイン微調整。
• 英語で学習したモデルを低リソース言語に適用することでゼロショットのクロスリンガル転送を評価し、性能格差を分析。
• 人間がアノテートしたスコアをプロキシとして用い、自動評価指標の信頼性を評価。回答可能性に関する人間の判断と最も相関の高い METEOR が特定された。

実験結果

リサーチクエスチョン

• RQ1 パラグラフレベルの QG において、BLEU や METEOR、ROUGE といった自動評価指標は、人間の判断とどの程度相関しているか？
• RQ2 SQuAD での事前学習が、リソースが乏しいドメインやドメイン固有の状況での QG パフォーマンス向上に与える影響は何か？
• RQ3 英語データのみで訓練された QG モデルが、ゼロショットで他の言語に適応する能力はどの程度か？
• RQ4 生成言語モデルは、多様なドメインや言語的スタイルにおいて、パラグラフレベルの QG でどの程度の性能を発揮するか？
• RQ5 現在の自動評価指標は、生成された質問の回答可能性や意味的正しさをどの程度正しく捉えられていないか？

主な発見

• T5-large は SQuAD データセットで理解可能性の手動評価スコアが 2.95 と最高を記録し、自然で一貫性のある質問を生成する能力が優れていることが示された。
• SQuAD での事前学習後にドメイン固有のデータで微調整したモデルが、ドメイン内のみの微調整やゼロショット転送の設定を大きく上回り、特に質問スタイルが著しく異なるドメイン（例：SubjQA）で顕著な向上が見られた。
• METEOR は回答可能性に関する人間の判断と最も高い相関を示し、BLEU4 や ROUGE-L を上回った。これは、METEOR が QG 評価においてより信頼性が高い指標である可能性を示唆している。
• 他の言語へのゼロショットのクロスリンガル転送では性能が限定的であり、多言語 QG の一般化能力に大きな改善余地があることが明らかになった。
• 本研究では、現在の自動評価指標が回答可能性を正しく捉えていないことが確認され、QG 研究におけるより良い評価プロトコルの必要性が強調された。
• SQuAD で事前学習したモデルは、ドメイン固有のデータでさらに微調整することで強いドメイン適応性を示すが、ゼロショット転送には苦労し、特にスタイルが著しく異なるドメインでは顕著に劣化する。