[論文レビュー] Automatic Related Work Generation: A Meta Study

Xiangci Li, Jessica Ouyang|arXiv (Cornell University)|Jan 6, 2022

Advanced Text Analysis Techniques被引用数 4

ひとこと要約

本メタスタディは、科学的NLP分野における自動関連文献生成の問題を批判的に評価し、問題定義、データセット、手法、評価の観点から最近の研究を分析している。標準化の欠如、文単位の単位依存、事実性の問題、分野範囲の限定といった主な課題を特定するとともに、知識統合型で多文書を扱うモデルと標準化されたベンチマークの導入を提言し、現在の文の流れ重視で範囲が狭いシステムを超えて分野を発展させることを提唱している。

ABSTRACT

Academic research is an exploration activity to solve problems that have never been resolved before. By this nature, each academic research work is required to perform a literature review to distinguish its novelties that have not been addressed by prior works. In natural language processing, this literature review is usually conducted under the "Related Work" section. The task of automatic related work generation aims to automatically generate the "Related Work" section given the rest of the research paper and a list of cited papers. Although this task was proposed over 10 years ago, it received little attention until very recently, when it was cast as a variant of the scientific multi-document summarization problem. However, even today, the problems of automatic related work and citation text generation are not yet standardized. In this survey, we conduct a meta-study to compare the existing literature on related work generation from the perspectives of problem formulation, dataset collection, methodological approach, performance evaluation, and future prospects to provide the reader insight into the progress of the state-of-the-art studies, as well as and how future studies can be conducted. We also survey relevant fields of study that we suggest future work to consider integrating.

研究の動機と目的

• 科学的NLPにおける自動関連文献生成の既存アプローチを包括的かつ比較的に分析すること。
• 過去の研究において問題定義、データセット構築、評価手法に顕在する重大なギャップや一貫性の欠如を特定すること。
• 文単位の単位や一部の論文表現（例：要旨）に過剰に依存するような手法的制限を強調すること。
• タスク定義、評価指標、共有ベンチマークにおける標準化の欠如を扱うこと。
• 外部知識の統合、事実性の向上、計算言語学分野を超えた拡張を提唱すること。

提案手法

• 問題定義、データセット収集、手法、評価、今後の方向性の観点から、10件以上の最近の関連文献生成研究を比較するメタスタディを実施する。
• ニューラルシーケンスモデル、多文書エンコーダー、引用ネットワークやディス course シグナルの統合といった手法的アプローチを分析する。
• 自動指標（例：ROUGE）を用いて性能を評価し、事実性や一貫性に関する人間による評価が不足していることを強調する。
• 手動と自動手法を組み合わせることでデータ収集の効率性と品質を向上させるフレームワークを提案する。
• 引用機能ラベル、重要度スコア、知識ベースといった外部の監視信号を統合することで、事実的一致性を向上させることを推奨する。
• 全文表現のモデリングと、一貫性があり、事実的で要約的な関連文献セクションを生成するエンドツーエンドシステムの開発の必要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 既存の研究は、自動関連文献生成タスクをどのように定義しているか、それぞれどのように異なるか？
• RQ2 主なデータ収集戦略は何か。それらはモデルの汎化性能や評価にどのように影響を与えるか？
• RQ3 現在の手法は、文単位の単位や要旨のみの表現に過剰に依存している程度はどの程度か？
• RQ4 現在の評価手法は、事実的一致性、一貫性、情報量の測定にどの程度効果的か？
• RQ5 外部知識、引用ネットワーク、ディス course 分析は、生成された関連文献セクションの品質向上にどのような役割を果たすか？

主な発見

• 多くの研究が、要旨や結論を全論文の代理として使用しており、引用された文献の表現を単純化し、性能に制限をもたらしている。
• 大多数のシステムが、文を生成の基本単位として扱っているが、引用文脈が複数の文にまたがるか、複数の論文を含むことが証明されているにもかかわらず、その事実を無視している。
• タスク定義、データセット、評価プロトコルにおける標準化の欠如が顕著で、研究間の比較が困難である。
• 現在のモデルは、外部知識がなく、ニューラルシーケンスモデルに依存するだけの状態では、流暢ではあるが事実と異なる、あるいは事実に反する内容（幻覚的コンテンツ）を生成することが多い。
• 最終的な関連文献セクションの一貫性や構造を考慮する研究は僅かであり、多くは個々の引用文に焦点を当てている。
• 分野は計算言語学に限定されており、自然科学や社会科学分野における関連文献生成の探求はほとんど行われていない。