[論文レビュー] Transductive Learning for Abstractive News Summarization

Arthur Bražinskas, Mengwen Liu+3 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling被引用数 2

ひとこと要約

本論文は、要約品質を向上させるために、入力記事からの顕著な文を用いてテスト時におけるモデルの再適応を実行する、帰納的学習の最初の応用を紹介する。微調整段階で抽出的疑似リファレンスと生成的要約を同時に予測し、テスト時における帰納的適応を実施することで、CNN/DM (+1.05) および NYT (+0.74) で最先端の ROUGE-L スコアを達成した。また、要約の抽象性と一貫性が向上した。

ABSTRACT

Pre-trained and fine-tuned news summarizers are expected to generalize to news articles unseen in the fine-tuning (training) phase. However, these articles often contain specifics, such as new events and people, a summarizer could not learn about in training. This applies to scenarios such as a news publisher training a summarizer on dated news and summarizing incoming recent news. In this work, we explore the first application of transductive learning to summarization where we further fine-tune models on test set inputs. Specifically, we construct pseudo summaries from salient article sentences and input randomly masked articles. Moreover, this approach is also beneficial in the fine-tuning phase, where we jointly predict extractive pseudo references and abstractive gold summaries in the training set. We show that our approach yields state-of-the-art results on CNN/DM and NYT datasets, improving ROUGE-L by 1.05 and 0.74, respectively. Importantly, our approach does not require any changes of the original architecture. Moreover, we show the benefits of transduction from dated to more recent CNN news. Finally, through human and automatic evaluation, we demonstrate improvements in summary abstractiveness and coherence.

研究の動機と目的

• トレーニング中に見られなかった新しい固有語や出来事を持つテスト記事において、生成的要約の一般化ギャップを解消すること。
• テスト入力の内容を用いて推論時にモデルを適応させることで、最近のまたは未学習のニュースの性能を向上させること。
• 元のモデルアーキテクチャを変更せずに、要約の抽象性と一貫性を向上させること。
• 特に、日付が古いデータで学習したモデルが、最近のニュースを要約するような低リソースまたはドメインシフトの状況において、帰納的学習の有効性を示すこと。

提案手法

• 別個の抽出的モデルを用いて、テスト入力記事から顕著な文を選択することで抽出的疑似リファレンスを構築する。
• 入力記事のマスキングされたバージョンから顕著な文を予測するためのノイズ除去目的関数を適用し、コピーと生成のバランスを取る。
• トレーニング段階で、生成的ゴールド要約と抽出的疑似リファレンスの両方に対して、同時に微調整を行う。
• 顕著な文とマスキングされた入力を用いて、同じ二重目的を再適用することで、テスト入力に対して帰納的適応を実施する。
• 共同微調整段階で、生成的監視に使用する訓練データは約 5% に限定し、追加の訓練コストを最小限に抑える。
• モデルアーキテクチャを維持し、構造的変更を必要としないため、既存モデルへのプラグアンドプレイ統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータに存在しない新しい固有語や出来事を持つテスト記事において、帰納的学習が生成的要約の性能を向上させることができるか？
• RQ2 微調整段階で抽出的疑似リファレンスと生成的要約を同時に予測することで、モデルの一般化性能と要約品質にどのような影響を与えるか？
• RQ3 テスト入力に対する帰納的適応は、標準的な微調整と比較して、より抽象的で一貫性のある要約を生成するか？
• RQ4 本手法は、日付が古いニュースで学習したモデルを、より最近で未学習のニュース記事に適応させるのに効果的か？
• RQ5 顕著な文選択とノイズ除去目的関数の使用が、モデル性能と訓練効率に与える影響は何か？

主な発見

• 提案手法 TRSUM は、CNN/DM で最先端の ROUGE-L スコアを達成し、前例に比べて 1.05 ポイント向上した。
• NYT データセットでは、ROUGE-L が 0.74 ポイント向上し、異なるドメインにおいても一貫した向上が確認された。
• 帰納的適応は、自動評価および人的評価の両面で、要約の抽象性と一貫性を顕著に向上させた。
• 日付が古いデータで微調整したモデルでも、最近のニュースに適用した場合でも高い性能を維持しており、ドメイン一般化性能が優れていることが示された。
• 帰納的適応は、8-GPUインスタンスで推論時計算コストとして約 15 分しか追加しないため、実世界の展開において実用的である。
• 抽出的疑似リファレンスと生成的要約の両方を共同で微調整することで、単一の生成的リファレンスでの標準的微調整を上回る性能が得られた。