[論文レビュー] Concept Pointer Network for Abstractive Summarization

Wenbo Wang, Yang Gao+2 more|arXiv (Cornell University)|Oct 18, 2019

Topic Modeling参考文献 28被引用数 7

ひとこと要約

本稿では、知識ベースからの文脈に配慮した概念化を統合することで、単に元のテキストをそのままでコピーするのではなく、より高レベルの抽象的概念を生成するように、抽象的要約を向上させるコンセプトポインタネットワークを提案する。新しいポインタ機構と遠隔教師付き学習を用いて、元のテキストと概念候補を統合的に活用することで、DUC-2004およびGigawordで最先端モデルを上回る統計的に有意なROUGEスコアを達成した。人的評価でも、より高い抽象性と要約品質が確認された。

ABSTRACT

A quality abstractive summary should not only copy salient source texts as summaries but should also tend to generate new conceptual words to express concrete details. Inspired by the popular pointer generator sequence-to-sequence model, this paper presents a concept pointer network for improving these aspects of abstractive summarization. The network leverages knowledge-based, context-aware conceptualizations to derive an extended set of candidate concepts. The model then points to the most appropriate choice using both the concept set and original source text. This joint approach generates abstractive summaries with higher-level semantic concepts. The training model is also optimized in a way that adapts to different data, which is based on a novel method of distantly-supervised learning guided by reference summaries and testing set. Overall, the proposed approach provides statistically significant improvements over several state-of-the-art models on both the DUC-2004 and Gigaword datasets. A human evaluation of the model's abstractive abilities also supports the quality of the summaries produced within this framework.

研究の動機と目的

• 既存の抽象的要約モデルが、元のテキストをそのままでコピーするのではなく、高レベルの抽象的概念を生成するという限界を是正すること。
• ポインタジェネレータフレームワークに世界知識を統合することで、新しい概念語の生成を改善すること。
• 多様なデータセットにわたるモデルの適応性を高めるために、遠隔教師付き学習戦略を開発すること。
• 生成要約における抽象性とスムーズさのバランスを取ることで、ROUGE指標および人的評価でより優れたパフォーマンスを達成すること。

提案手法

• モデルは、知識ベースから得られる多数の候補概念の中から、元の語の意味的関連性に基づいて、文脈に配慮したコンセプトポインタを選択する。
• 二重ポインタ機構を採用：一つは元のテキスト語用、もう一つは概念語用で、注目メカニズムによる選択により、コピーと抽象化のバランスを取る。
• 各概念がターゲット語をどれほど適切に表しているかを反映する文脈に敏感な分布を用いて、概念候補を動的に更新する。
• 参照要約とテストセット統計に基づく、新しい遠隔教師付き戦略を用いて、エンドツーエンドでモデルを学習し、一般化性能を向上させる。
• 強化学習を遠隔教師付き学習の補完として用いるが、分布シフトが生じるデータセットでは、後者が優れた性能を示した。
• 最終出力は、スムーズさを保ちつつ、元の語と高レベルの概念の両方を組み込んだ、シーケンス・トゥ・シーケンスジェネレータによって生成される。

実験結果

リサーチクエスチョン

• RQ1 ポインタジェネレータに知識ベースの概念を統合することで、抽象的要約の抽象性を向上させられるか？
• RQ2 標準的なポインタジェネレータと比較して、文脈に配慮したコンセプトポインタは、冗長でない高レベルの意味的コンテンツをどのように生成するか？
• RQ3 強化学習に比べ、遠隔教師付き学習は多様なデータセットにわたるモデルの一般化性能を向上させるか？
• RQ4 人的評価者は、提案モデルの要約がベースラインと比較して、どれほど抽象的で質の高いと感じられるか？

主な発見

• コンセプトポインタネットワークは、DUC-2004およびGigawordの両データセットで、複数の最先端モデルを上回るROUGE-L、ROUGE-1、ROUGE-2指標で統計的に有意な改善を達成した。
• DUC-2004では、遠隔教師付き学習を用いたモデルが、強化学習ベースの学習に比べて相対的に3.5%から9.6%の改善を示し、分布シフトへの適応性が優れていることが示された。
• 人的評価では、モデルは抽象性で10.00/20、全体の質で9.60/20のスコアを獲得し、seq2seq+attention（5.85, 5.65）およびポインタジェネレータ（8.95, 8.10）を顕著に上回った。
• 最適な概念候補数は、Gigawordではk=1、DUC-2004ではk=2であった。ハードアサインメント（argmax）がランダム選択よりも優れた結果をもたらした。
• 「317人のアスリート」という直接的なコピーに依存するのを減らし、代わりに「グループ」といったより抽象的な概念を生成することで、概念的抽象化の向上が確認された。
• 生成された要約は、流暢で長く、情報量が多く、ベースラインと比較して顕著に高レベルの意味的表現にシフトしていることが特徴であった。