[論文レビュー] Abstractive Summarization for Low Resource Data using Domain Transfer and Data Synthesis

Ahmed Magooda, Diane Litman|arXiv (Cornell University)|Feb 9, 2020

Topic Modeling被引用数 8

ひとこと要約

本稿では、ドメイン転送とテンプレートベースのデータ合成を組み合わせたハイブリッド手法を提案し、低リソースな学生の振り返りデータにおける抽象的要約の性能を向上させることを目的としている。事前学習済みモデルをCNN/DailyMailニュースデータで微調整し、合成要約でデータ拡張することで、ドメイン固有のデータでの学習や抽出的ベースラインと比較して、ROUGEスコアが向上し、人間による評価でも一貫性が向上した。

ABSTRACT

Training abstractive summarization models typically requires large amounts of data, which can be a limitation for many domains. In this paper we explore using domain transfer and data synthesis to improve the performance of recent abstractive summarization methods when applied to small corpora of student reflections. First, we explored whether tuning state of the art model trained on newspaper data could boost performance on student reflection data. Evaluations demonstrated that summaries produced by the tuned model achieved higher ROUGE scores compared to model trained on just student reflection data or just newspaper data. The tuned model also achieved higher scores compared to extractive summarization baselines, and additionally was judged to produce more coherent and readable summaries in human evaluations. Second, we explored whether synthesizing summaries of student data could additionally boost performance. We proposed a template-based model to synthesize new data, which when incorporated into training further increased ROUGE scores. Finally, we showed that combining data synthesis with domain transfer achieved higher ROUGE scores compared to only using one of the two approaches.

研究の動機と目的

• 学生の振り返りのような低リソースドメインにおける要約生成の性能が低いという課題に対処すること。
• 事前学習済みの抽象的要約モデルを、ドメイン外のニュースデータで微調整することで、ドメイン内での学生の振り返りデータに対する性能が向上するかどうかを調査すること。
• テンプレートベースのモデルを用いて追加の訓練データを合成することで、ドメイン内データにおける要約生成性能が向上するかどうかを検討すること。
• ドメイン転送とデータ合成の併用効果を評価し、それらが相乗効果をもたらすかどうかを検証すること。
• 自動評価指標（ROUGE）と人間評価による一貫性・読みやすさを用いて、生成された要約の質を評価すること。

提案手法

• 事前学習済みの抽象的要約モデル（PG-net）を、CNN/DailyMailニュースデータで事前学習し、ドメイン内での学生の振り返りデータで微調整する。
• 言語的パターンと意味的テンプレートを用いて、学生の振り返り文書から合成要約を生成するテンプレートベースのデータ合成モデルを開発する。
• 合成された要約を、抽象的モデルの事前学習および微調整の両フェーズにおける訓練データに追加する。
• 3つの訓練設定で性能を比較する：(1) 学生の振り返りデータでのみ学習、(2) ドメイン転送（CNN/DMで事前学習、振り返りデータで微調整）、(3) ドメイン転送に加えて合成データによる拡張。
• 効果を比較するためのベースラインとして、WordNetを用いた語の置換法を実装する。
• 人間評価を実施し、アノテーターが3つのモデル出力（CNN/DMのみ、学生の振り返りのみ、ドメイン転送モデル）の中から最も一貫性があり読みやすい要約を選択する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン外のニュースデータで事前学習済みの抽象的要約モデルをドメイン内での学生の振り返りデータで微調整することで、低リソースな学生の振り返りデータにおける要約性能が向上するか？
• RQ2 テンプレートベースの手法を用いて追加の要約を合成することで、ドメイン内データにおける抽象的要約モデルの性能が向上するか？
• RQ3 ドメイン転送とデータ合成の組み合わせは、単独で使用する場合よりも効果的か？
• RQ4 微調整済みモデルが生成する要約は、ドメイン内データでのみ学習したモデルの要約よりも一貫性と読みやすさが優れているか？
• RQ5 提案されたテンプレートベースの合成モデルは、人間の参照要約と比較して、品質面で競争力を持つ要約を生成できるか？

主な発見

• ドメイン内データでのみ学習する場合や抽出的ベースラインと比較して、学生の振り返りデータで事前学習済みモデルを微調整することで、ROUGEスコアが著しく向上した。
• ドメイン転送モデルは、4つの学生の振り返りコーパスすべてにおいて、CNN/DMのみ、およびドメイン内のみのモデルよりも高いROUGEスコアを達成した。
• 提案されたテンプレートベースのモデルを用いた要約の合成は、訓練および微調整の両方でROUGEスコアに一貫した向上をもたらし、WordNetベースのベースラインを上回った。
• ドメイン転送とデータ合成の組み合わせにより、最高のROUGEスコアが得られ、特に合成データを訓練および微調整の両方で使用した場合に最も良い結果が得られた。
• 人間評価では、CSでは49%の評価者がドメイン転送モデルの要約を好んだ。Stat2015では41%が同様に好んだ。両者とも、CNN/DMのみおよびドメイン内のみのモデルを上回った。
• テンプレートベースの合成モデルはROUGEスコアではトップパフォーマンスではなかったが、人間の参照要約と競合する品質の要約を生成し、さらなる改善の可能性を示した。