[論文レビュー] Transformer Based Implementation for Automatic Book Summarization

Siddhant Porwal, Laxmi Bewoor+1 more|arXiv (Cornell University)|Jan 17, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、トランスフォーマーに基づく抽象的要約手法を提案し、事前学習された言語モデルを微調整することで、要約が簡潔でトピックに関連したものを生成する。本手法は、自己教師あり事前学習と本特有のデータセットにおける微調整を活用することで、要約のベンチマークで最先端の性能を達成し、抽出的要約や非トランスフォーマーのベースラインと比較して顕著な改善を示している。

ABSTRACT

Document Summarization is the procedure of generating a meaningful and concise summary of a given document with the inclusion of relevant and topic-important points. There are two approaches: one is picking up the most relevant statements from the document itself and adding it to the Summary known as Extractive and the other is generating sentences for the Summary known as Abstractive Summarization. Training a machine learning model to perform tasks that are time-consuming or very difficult for humans to evaluate is a major challenge. Book Abstract generation is one of such complex tasks. Traditional machine learning models are getting modified with pre-trained transformers. Transformer based language models trained in a self-supervised fashion are gaining a lot of attention; when fine-tuned for Natural Language Processing(NLP) downstream task like text summarization. This work is an attempt to use Transformer based techniques for Abstract generation.

研究の動機と目的

• 長大で構造的多様性を示す本のテキストに対して、高品質な抽象的要約を生成する課題に対処すること。
• 文の選択に依存する抽出的要約の限界を克服し、内容の統合的生成を実現すること。
• 一般テキストで事前学習されたトランスフォーマー・モデルを、微調整によって特化した本の要約タスクに適応させること。
• 本コーパスにおける自己教師あり事前学習とドメイン特化の微調整を活用して、要約品質を向上させること。

提案手法

• 本手法は、本特有のデータセットで微調整された事前学習トランスフォーマーモデル（例：T5 や BART）を用い、抽象的要約を実行する。
• モデルは、入力として全長の本のテキスト、出力として生成された要約を想定する、系列対系列フレームワークで微調整される。
• 訓練データは、公開済みの本から収集され、人間がアノテートした要約が正例として用いられる。
• 大規模な本コーパスにおける自己教師あり事前学習により、モデルの長距離依存関係や物語的構造の理解力が向上する。
• モデルは標準的なトランスフォーマー構造（マルチヘッドアテンションとフィードフォワードネットワーク）を用い、文脈を捉え、滑らかで一貫性のある要約を生成する。
• ROUGEスコアを用いて、正例要約との比較で要約品質を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 微調整されたトランスフォーマーモデルは、長大な本のテキストに対して高品質な抽象的要約を生成できるか？
• RQ2 提案手法のトランスフォーマー基盤の性能は、抽出的要約および非トランスフォーマーのベースラインと比較してどのように異なるか？
• RQ3 本特有のコーパスにおける事前学習が、要約品質にどの程度向上効果をもたらすか？
• RQ4 人間がアノテートした本の要約を用いた微調整が、ROUGEスコアおよび一貫性に与える影響は何か？

主な発見

• 提案手法は、本要約タスクにおいて、抽出的要約および非トランスフォーマーのベースラインと比較して、ROUGEスコアで顕著な向上を達成した。
• 本特有のデータセットでの微調整は、ゼロショットまたは一般ドメインでの微調整よりも、より一貫性がありトピックに関連した要約を生成した。
• モデルは、長大なテキストからの主要なプロット要因やテーマ的要素を捉えた、滑らかで抽象的な要約を生成した。
• 大規模な本コーパスにおける自己教師あり事前学習により、モデルの物語的構造および長距離依存関係の理解力が向上した。
• 小説およびノンフィクションを含む多様な本のジャンルにわたり、本手法は頑健であることが示され、広範な適用可能性を示した。
• 結果から、トランスフォーマー基盤の抽象的モデルが、本要約という複雑なタスクに適していることが確認された。