[論文レビュー] WebBrain: Learning to Generate Factually Correct Articles for Queries by Grounding on Large Web Corpus

Hongjing Qian, Yutao Zhu+8 more|arXiv (Cornell University)|Apr 10, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文では、大規模なウェブコーパスからの証拠をもとに、事実的に正しい、ウィキペディア風の記事を事実的な照会に対して生成する、新しいNLPタスクであるWebBrainを紹介する。著者らは、改善された証拠抽出、引用付き生成、事実指向の事前学習を通じて事実的正確性を向上させるReGenというフレームワークを提案し、新たに構築された10倍大きなデータセット、WebBrain-Raw上で自動評価および人間評価の両方で最先端の性能を達成した。

ABSTRACT

In this paper, we introduce a new NLP task -- generating short factual articles with references for queries by mining supporting evidence from the Web. In this task, called WebBrain, the ultimate goal is to generate a fluent, informative, and factually-correct short article (e.g., a Wikipedia article) for a factual query unseen in Wikipedia. To enable experiments on WebBrain, we construct a large-scale dataset WebBrain-Raw by extracting English Wikipedia articles and their crawlable Wikipedia references. WebBrain-Raw is ten times larger than the previous biggest peer dataset, which can greatly benefit the research community. From WebBrain-Raw, we construct two task-specific datasets: WebBrain-R and WebBrain-G, which are used to train in-domain retriever and generator, respectively. Besides, we empirically analyze the performances of the current state-of-the-art NLP techniques on WebBrain and introduce a new framework ReGen, which enhances the generation factualness by improved evidence retrieval and task-specific pre-training for generation. Experiment results show that ReGen outperforms all baselines in both automatic and human evaluations.

研究の動機と目的

• 未学習の事実的照会に対して、外部のウェブ証拠に根拠を置いた事実的に正しい、情報豊富な記事を生成する課題に対処すること。
• 内部知識に依存するのではなく、抽出可能で引用可能な証拠に依存することで、大規模言語モデルにおける幻覚現象を克服すること。
• 先行の類似データセットの10倍大きい規模のデータセットであるWebBrain-Rawを構築することで、事実的記事生成のための大規模ベンチマークを確立すること。
• 現在のSOTAモデルが引用付きの事実的コンテンツを生成する際の限界を評価し、事実的整合性とカバー範囲を向上させる解決策を提案すること。

提案手法

• すべての英語ウィキペディア記事およびそれに対応する参考記事を抽出することで、このタスクにおいて最大の公開可能データセットであるWebBrain-Rawを構築する。
• タスク固有の2つのデータセットを導出する：ドメイン内検索器を訓練するためのWebBrain-Rと、事実指向の生成器を訓練するためのWebBrain-G。
• トピックに一貫した証拠抽出、生成中に明示的な引用マークの付与、事実指向の自己教師付き目的を用いたタスク固有の事前学習を通じて、事実的正確性を向上させる統合フレームワークReGenを設計する。
• BARTとFiDを用いた distillation 環境で、事前学習とダウンストリームタスクの分布のギャップを埋めるために、生成器をウォームアップ戦略で微調整する。
• 検索器が関連する証拠を選択し、生成器が照会および取得した参考文献の両方に条件付けられる、リトリーブ・アンメイテッド・ジェネレーションパイプラインを統合する。
• 段階的な訓練プロセスを実装する：まず生成器を事実指向のタスクで事前学習し、次に取得した証拠と引用の監視情報を用いて微調整する。

実験結果

リサーチクエスチョン

• RQ1 外部証拠に根拠を置かないで、事実的照会に対してプロンプトされた既存の大規模言語モデルは、事実的に正しいウィキペディア風の記事を生成できるか？
• RQ2 抽出されたウェブ証拠に生成を根拠とする場合、純粋にパラメータベースの生成と比較して、事実的整合性とカバー範囲はどのように向上するか？
• RQ3 引用付き生成と改善された証拠抽出は、記事生成における事実的正確性をどの程度向上させるか？
• RQ4 事実指向の事前学習とウォームアップ戦略は、WebBrainタスクにおける事実指向生成器の性能を顕著に向上させることができるか？
• RQ5 学習データの規模（WebBrain-Raw）は、生成記事の一般化能力および事実的品質にどのように影響するか？

主な発見

• ReGen（large）は、BLEU-1（28.94）、METEOR（14.87）、ROUGE-L（21.27）、CIDEr（19.30）、QAGS（48.72）、TripleScore（12.56）を含む、すべての自動評価指標で最高スコアを達成し、GPT-3や他のベースラインを上回った。
• ReGenフレームワークは、事実的正確性が顕著に向上したことが、12.56のTripleScoreによって裏付けられており、正解事実との整合性が高く、幻覚が減少していることを示している。
• 人間評価では、特に参考文献が提供された場合に、GPT-3や他のベースラインと比較して、ReGenがより自然で情報豊かで事実的に正確な記事を生成していることが確認された。
• 生成中に引用マークを使用することで、出典の帰属が明確になり、モデルが主張と証拠をよりよく結びつけることができ、事実の誤りが減少した。
• ドレインドリトリーブ（DPR）は、精度よりも再現率が高い結果を示し、より多くのコンテンツを捉える一方でノイズも増加していることを示唆しており、複数のリトリーバーを組み合わせることでさらなる性能向上が可能であると考えられる。
• ウォームアップ戦略は、事前学習と微調整の間の性能ギャップを顕著に縮小し、より良い文と参照のマッチングを実現し、事実的カバー範囲を向上させた。