[論文レビュー] Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling

Dmitrii Aksenov, Julián Moreno Schneider+4 more|arXiv (Cornell University)|Mar 29, 2020

Topic Modeling参考文献 36被引用数 12

ひとこと要約

本稿では、BERTでエンコードされた表現に条件付けられたTransformerデコーダーを用いた、新たな抽象的テキスト要約モデルを提案する。初期エンコーダー層に2次元畳み込み自己注意機構を統合することで、局所的文脈モデリングを向上させる。また、BERTの512トークン制限を超える長文処理のためのBERTウィンドウ化手法を導入する。本モデルは、CNN/Daily Mailで最先端のROUGEスコアを達成し、ドイツ語のSwissTextでもベースラインを上回る性能を示し、自動評価および手動評価の両方で事実の整合性と文の自然さが向上している。

ABSTRACT

We explore to what extent knowledge about the pre-trained language model that is used is beneficial for the task of abstractive summarization. To this end, we experiment with conditioning the encoder and decoder of a Transformer-based neural model on the BERT language model. In addition, we propose a new method of BERT-windowing, which allows chunk-wise processing of texts longer than the BERT window size. We also explore how locality modelling, i.e., the explicit restriction of calculations to the local context, can affect the summarization ability of the Transformer. This is done by introducing 2-dimensional convolutional self-attention into the first layers of the encoder. The results of our models are compared to a baseline and the state-of-the-art models on the CNN/Daily Mail dataset. We additionally train our model on the SwissText dataset to demonstrate usability on German. Both models outperform the baseline in ROUGE scores on two datasets and show its superiority in a manual qualitative analysis.

研究の動機と目的

• 事前学習済み言語モデル（BERT）を活用して、より良い文脈表現を得ることで、抽象的テキスト要約の品質を向上させること。
• BERTの512トークン入力ウィンドウ制限を克服するため、長文ドキュメント処理のための段階的BERTウィンドウ化手法を提案すること。
• 初期エンコーダー層に2次元畳み込み自己注意機構を導入することで、エンコーダー内の局所的依存関係モデリングを強化すること。
• 英語（CNN/Daily Mail）およびドイツ語（SwissText）のデータセットを対象にモデルの性能を評価し、多言語への一般化可能性を示すこと。
• Lynx や QURATOR などのNLPプラットフォームへの統合を想定した、信頼性の高い公開可能システムを提供すること。

提案手法

• 入力テキストの意味的理解を向上させるために、Transformerベースのモデルのエンコーダーとデコーダーを、BERTから得られる文脈表現に条件づける。
• 局所的トークン依存関係を明示的にモデリングすることで表現学習を強化するため、エンコーダーの最初の層に2次元畳み込み自己注意機構を導入する。
• 512トークンを超えるシーケンスを処理できるように、重複または連続するウィンドウで長文を処理するBERTウィンドウ化技術を提案する。
• 要約データセットでの微調整を含め、シーケンス・トゥ・シーケンス生成の交差エントロピー損失を用いて、エンド・ツー・エンドでモデルを訓練する。
• ドイツ語テキストに対しても、SwissTextデータセットでの微調整により、同じアーキテクチャを適用し、多言語一般化の有効性を検証する。
• ROUGEスコアと手動評価を用いて、ベースラインおよび最先端モデルと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 BERT表現に条件づけられたTransformerデコーダーを用いることで、抽象的要約の品質が向上するか？
• RQ2 初期エンコーダー層に2次元畳み込み自己注意機構を組み込むことで、局所的文脈モデリングおよび要約性能が向上するか？
• RQ3 BERTウィンドウ化技術により、512トークンを超える入力長を効果的に処理できるか、性能の著しい低下を伴わないか？
• RQ4 提案モデルは、リソースが限られた言語や非英語言語（例：ドイツ語）に対しても一般化可能か？
• RQ5 自動評価（ROUGE）および定性的評価（手動）の両方において、本モデルは最先端手法と比べてどのように差をつけるか？

主な発見

• 提案モデルは、CNN/Daily Mailデータセットで、従来の最先端手法を上回る新たなROUGEスコアを達成した。
• 畳み込み自己注意機構とBERT条件づけを備えたモデルは、ROUGE評価および定性的分析の両方でベースラインを上回り、より自然で一貫性のある要約を生成した。
• BERTウィンドウ化により、BERTの512トークン制限を超える長文ドキュメントの処理が可能になり、高い要約品質を維持した。
• ドイツ語のSwissTextデータセットでも優れた性能を示し、多言語への適用可能性と堅牢性を確認した。
• 手動評価により、ベースラインと比較して、本モデルがより情報量が多く、文法的に正しい要約を生成することが確認された。
• 本モデルのソースコードは公開されており、Lynx や QURATOR などの本番環境NLPプラットフォームにも統合されている。