[論文レビュー] Citation Text Generation.

Kelvin Luu, Rik Koncel-Kedziorski+3 more|arXiv (Cornell University)|Feb 2, 2020

Topic Modeling参考文献 22被引用数 15

ひとこと要約

本稿では、2つの科学的文書の関係を説明する自然言語の引用を生成するというタスク、すなわち引用文生成を導入する。著者らはベンチマークコーパスを構築し、ベースラインモデルを提案することで、現在の手法が妥当な引用を生成できるものの、事実の整合性や洗練された推論において困難を抱えることを示している。

ABSTRACT

We introduce the task of citation text generation: given a pair of scientific documents, explain their relationship in natural language text in the manner of a citation from one text to the other. This task encourages systems to learn rich relationships between scientific texts and to express them concretely in natural language. Models for citation text generation will require robust document understanding including the capacity to quickly adapt to new vocabulary and to reason about document content. We believe this challenging direction of research will benefit high-impact applications such as automatic literature review or scientific writing assistance systems. In this paper we establish the task of citation text generation with a standard evaluation corpus and develop several strong baseline models. We provide extensive automatic and human evaluations to illustrate the successes and shortcomings of current text generation techniques for this task.

研究の動機と目的

• 引用文生成というタスクを定義・形式化すること。このタスクでは、システムが科学的文書同士の関係を説明する自然言語の引用を生成する。
• この新しいタスクのための標準的な評価コーパスを構築し、モデルの体系的ベンチマーク化を可能にすること。
• 文脈的に関連性があり、文法的に正しい引用文を生成できる強力なベースラインモデルを構築すること。
• 自動評価と人的判断の両方を用いて、現在のテキスト生成技術の質と限界を評価すること。
• 高品質な引用文生成に必要な文書理解、推論、ドメイン固有語彙への適応に関する主要な課題を特定すること。

提案手法

• タスクは、入力として2つの科学的文書のペアを受け取り、出力としてそれらの関係を説明する自然言語の引用を生成する、シーケンス・ツー・シーケンスのテキスト生成として定式化される。
• ベースラインモデルには、科学的テキストで事前学習し、引用生成タスクで微調整したBARTおよびT5アーキテクチャが含まれる。
• 学習データは、科学文献における引用文脈から構築され、引用している文書と引用されている文書がペアとして与えられる。
• モデルは、シーケンス生成のための標準的な交差エントロピー損失を最適化し、推論時にはビームサーチによるデコードが用いられる。
• 評価には自動指標（BLEU、ROUGE、BERTScore）と人的アノテーション（流れやすさ、関連性、事実の正確性）が含まれる。
• 新しいベンチマークコーパスが構築され、公開され、ペアド文書関係が引用文とともにアノテートされている。

実験結果

リサーチクエスチョン

• RQ1 現在のシーケンス・ツー・シーケンスモデルは、2つの科学的文書の関係を正確に反映する自然言語の引用をどの程度適切に生成できるか？
• RQ2 現在のモデルは、引用形式における科学論文間の意味的・文脈的関係をどの程度捉えているか？
• RQ3 現在のテキスト生成モデルが、事実の整合性や文脈的に適切な引用を生成する際に抱える主な制限は何か？
• RQ4 自動評価指標と人的判断による引用の質の評価の間にはどの程度相関があるか？
• RQ5 微調整なしで、科学的テキストにおける新しい語彙や推論パターンにモデルは一般化できるか？

主な発見

• 提案されたベンチマークコーパスは、引用文生成モデルの評価に標準的なリソースを提供する。
• 微調整済みのT5およびBARTモデルは、流れよく関連性のある引用文を生成するが、事実の整合性に顕著な制限を示す。
• BERTScoreのような自動指標は人的判断と中程度の相関を示すが、洗練された正確性を完全に捉えきれていない。
• 人的評価により、モデルが一見妥当に聞こえるが事実誤認や意味的に曖昧な引用を生成することが判明した。
• モデルは、対比、拡張、矛盾といった複雑な関係を推論するのに困難を抱える。
• このタスクは、現在のモデルが科学的コンテンツを理解し、ドメイン固有の語彙に適応する能力に顕著なギャップを露呈していることを示している。