[論文レビュー] Exploring Domain Shift in Extractive Text Summarization

Danqing Wang, Pengfei Liu+4 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling参考文献 41被引用数 38

ひとこと要約

本論文はドメインを記事の公表（出版物）として定義し、抽出型要約を研究するためのマルチドメインSUMデータセット（MULTI-SUM）を構築し、クロスドメイン一般化のための4つの学習戦略（メタ学習を含む）を分析する。

ABSTRACT

Although domain shift has been well explored in many NLP applications, it still has received little attention in the domain of extractive text summarization. As a result, the model is under-utilizing the nature of the training data due to ignoring the difference in the distribution of training sets and shows poor generalization on the unseen domain. With the above limitation in mind, in this paper, we first extend the conventional definition of the domain from categories into data sources for the text summarization task. Then we re-purpose a multi-domain summarization dataset and verify how the gap between different domains influences the performance of neural summarization models. Furthermore, we investigate four learning strategies and examine their abilities to deal with the domain shift problem. Experimental results on three different settings show their different characteristics in our new testbed. Our source code including \textit{BERT-based}, \textit{meta-learning} methods for multi-domain summarization learning and the re-purposed dataset \textsc{Multi-SUM} will be available on our project: \url{http://pfliu.com/TransferSum/}.

研究の動機と目的

• 要約のためのドメイン概念をカテゴリからデータソース（公開元）へ拡張し、ドメイン間の分布ギャップを研究する。
• MULTI-SUMデータセットを再利用して、インドメインおよびアウトオブドメイン設定を備えたマルチドメインのテストベッドを作成する。
• 抽出型要約におけるドメインシフトを様々な学習戦略がどのように処理するかを評価し、マルチドメイン学習の実践的ガイダンスを提供する。

提案手法

• CNN文エンコーダとTransformer文書エンコーダ（CNN-Transformer）を用いて、文のラベリングとして抽出型要約をモデル化する。
• マルチドメイン要約のための4つの学習戦略を定義する： (I) 基本的なマルチドメイン学習、(II) マルチドメイン学習のためのBERT強化事前学習、(III) モデルをドメイン認識させるためのドメインタグ埋め込み、(IV) ドメイン間で勾配更新を整合させるメタ学習。
• ドメインシフト緩和を方程式で形式化する: L^(k)_I = L(Basic(S^(k), θ^(s)), Y^(k)); L^(k)_III = L(Basic(S^(k), C^(k), θ^(s)), Y^(k)); L^(k)_IV = γ L^(k) + (1-γ) ∑_{j≠k} L^{k←j}, with γ ∈ [0,1].
• Newsroomから上位10件の公開を選択し、トレーニング/テストドメインに分割してMULTI-SUMを作成する; インドメイン、アウトオブドメイン、およびクロスデータセット転送（CNN/DM）を評価する。
• ROUGE指標を用いてベースラインおよび既存モデルと比較し、ドメイン転送性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 未知の公開物（出版物）へシフトすることが抽出型要約の性能にどのように影響するか？
• RQ2 ドメイン認識型またはメタ学習アプローチは、モノリシックなモデルと比較して出版物やデータセット間の一般化を改善できるか？
• RQ3 事前学習済みモデル（例：BERT）がマルチドメイン要約およびクロスドメイン転移に与える影響は？
• RQ4 インドメイン対アウトオブドメイン対クロスデータセット設定で、ドメインシフトは抽出型要約にどのように現れるか？

主な発見

• 抽出型要約におけるドメインシフトは顕著で、1つの公開物で訓練されたモデルは未知の公開物で性能が低下する。
• ドメインタグを用いたドメイン認識型モデリングは、素のマルチドメインモデルと比較してインドメインおよびアウトオブドメインのROUGE性能を改善する。
• メタ学習（モデルIV）は最良のクロスドメイン一般化をもたらし、インドメ-domain性能の向上は小さいが、未知ドメインでの向上は大きい。
• 事前学習済みBERTは強力な特徴抽出を提供し、MULTI-SUM内では有益だが、クロスドメイン転移ではドメイン認識型やメタ学習戦略に劣る可能性がある。
• CNN/DailyMailでは、公開物タグとBERTの組み合わせが、試験された構成の中で最も高い性能を示し、データセット特有のドメイン信号が重要であることを示唆する。