[論文レビュー] Named Entity Inclusion in Abstractive Text Summarization

Sergey Berezin, Tatiana Batura|arXiv (Cornell University)|Jul 5, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、微調整された RoBERTa NER モデルを用いて検出された固有表現をマスクすることで、要約生成モデルのドメイン固有固有表現への注目を強化する、マスクされた固有表現言語モデリング（MNELM）という事前学習手法を提案する。この手法は、標準的な MLM 事前学習と比較して、固有表現の包含精度（0.93 対 0.86）と再現率（0.39 対 0.38）を向上させつつ、競争力のある ROUGE スコアを維持する。

ABSTRACT

We address the named entity omission - the drawback of many current abstractive text summarizers. We suggest a custom pretraining objective to enhance the model's attention on the named entities in a text. At first, the named entity recognition model RoBERTa is trained to determine named entities in the text. After that, this model is used to mask named entities in the text and the BART model is trained to reconstruct them. Next, the BART model is fine-tuned on the summarization task. Our experiments showed that this pretraining approach improves named entity inclusion precision and recall metrics.

研究の動機と目的

• 科学的テキストにおいて、固有表現の省略という継続的な問題に取り組むこと、特に固有表現の正確性が重要な文脈において。
• 生成された要約が元のテキストからのドメイン固有固有表現を適切に保持するように、モデルの忠実性を向上させること。
• 外部の知識ベースやルールベースの制約を必要とせず、モデルが固有表現を内因的に認識できるようにする事前学習戦略を開発すること。
• 事前学習中に固有表現に注目させることで、要約生成における収束速度の向上と事実の整合性の強化を実現すること。
• 参照要約やキーフレーズ抽出に依存する既存手法の代替として、教師なしでスケーラブルな手法を提供すること。

提案手法

• 科学的固有表現（例：手法、指標、タスク）を同定するため、SCIERC データセット上で RoBERTa ベースの固有表現認識（NER）モデルを学習する。
• 学習済み NER モデルを用いて、ArXiv データセット内の固有表現を自動的に同定・マスクし、[mask] トークンに置き換える。
• マスクされた科学的テキストを用いて、BART モデルをマスク言語モデリングの目的関数で事前学習させ、元の固有表現を再構築させるようにする。
• 標準的なシーケンス・トゥ・シーケンス学習を用いて、1 エポックのみで要約生成タスクに微調整する。
• MNELM 事前学習中に 50% のマスキング確率を適用し、固有表現への注目と一般言語モデリングのバランスを取る。
• MNELM 事前学習では 10,000 ステップごとに学習率スケジューラーを減衰させ、微調整時には 5,000 ステップごとに同様の処理を実施し、過学習を防ぐ。

Figure 1: Training sequence

実験結果

リサーチクエスチョン

• RQ1 固有表現の再構築に注目する事前学習目的が、要約生成における固有表現の包含を改善できるか？
• RQ2 標準的な MLM 事前学習と比較して、MNELM 事前学習は固有表現の精度と再現率においてどのように異なるか？
• RQ3 MNELM 事前学習は、強力な ROUGE スコアを維持しながら、要約タスクにおける収束を速くできるか？
• RQ4 外部の知識ベースや参照要約の監視を必要とせず、効果的に適用できるか？
• RQ5 注目すべき固有表現に特化した事前学習は、固有表現に関する幻覚をどの程度低減できるか？

主な発見

• MNELM で事前学習された BART モデルは、標準的な MLM ベースラインと比較して、固有表現の精度が 0.93 にまで向上した（対象は 0.86）。
• MNELM を用いることで、固有表現の再現率が 0.39 にまで向上した（標準的な MLM では 0.38）。これは、元のテキストに含まれる固有表現のカバー率が向上していることを示している。
• 全体の ROUGE スコアはやや低かった（例：ROUGE-1 F1: 0.36 対 0.35）が、MNELM モデルは特に固有表現関連の指標において、収束が速かった。
• 生成過程において、ドメイン固有固有表現への注目が強化されており、重要語の幻覚や省略の可能性が低減された。
• MNELM アプローチは、一般語彙ではなく、実際の固有表現の再構築に注目することで、固有表現関連の幻覚を効果的に低減した。
• ラベル付きデータが限られている状況でも有効であり、微調整された RoBERTa モデルを用いて高品質なマスキングを事前学習に活用できる。