[論文レビュー] Controlling the Amount of Verbatim Copying in Abstractive Summarization

Kaiqiang Song, Bingqing Wang+3 more|arXiv (Cornell University)|Nov 23, 2019

Topic Modeling参考文献 45被引用数 4

ひとこと要約

この論文は、単一のリファレンス要約から学習することで、要約生成におけるそのままでコピーする割合を制御するデコーダー専用のトランスフォーマー・モデルを提案する。訓練およびデコードの過程で、既視（コピー可能）および未視（生成用）の語を分離して予測することで、抽出的から要約的までのスケールの要約を生成可能となり、ROUGEおよびBERTScoreの結果において競争力のある性能を達成するとともに、コピー率の柔軟な制御が可能となる。

ABSTRACT

An abstract must not change the meaning of the original text. A single most effective way to achieve that is to increase the amount of copying while still allowing for text abstraction. Human editors can usually exercise control over copying, resulting in summaries that are more extractive than abstractive, or vice versa. However, it remains poorly understood whether modern neural abstractive summarizers can provide the same flexibility, i.e., learning from single reference summaries to generate multiple summary hypotheses with varying degrees of copying. In this paper, we present a neural summarization model that, by learning from single human abstracts, can produce a broad spectrum of summaries ranging from purely extractive to highly generative ones. We frame the task of summarization as language modeling and exploit alternative mechanisms to generate summary hypotheses. Our method allows for control over copying during both training and decoding stages of a neural summarization model. Through extensive experiments we illustrate the significance of our proposed method on controlling the amount of verbatim copying and achieve competitive results over strong baselines. Our analysis further reveals interesting and unobvious facts.

研究の動機と目的

• 単一のリファレンス要約から学習しているにもかかわらず、そのままでコピーする割合を変化させた要約を生成できるニューラル要約生成モデルの実現。
• 現代の要約的生成モデルでは通常固定のコピー率しか得られないという点を是正すること。
• 訓練段階およびデコード段階の両方でコピーを制御できるフレームワークの開発。
• 制御されたコピーによって幻覚を低減し意味を保持することで、要約の質の向上。
• 単一リファレンスモデルが抽出的から要約的までのスケールにわたる多様な要約仮説を生成できることの実証。

提案手法

• モデルは、エンコーダー・デコーダーのパラメータを共有するデコーダー専用のトランスフォーマー・アーキテクチャを用いて、言語モデル化タスクとして要約を定式化する。
• 予測を二つのコンポonentに分離する：ソーステキストに既に登場した語（コピー可能）と、未登場の語（生成用）。これにより、コピー行動の制御が可能となる。
• 訓練段階では、既視語と未視語の割合を変化させることで、コピーを好むか回避するかを学習する。
• デコード段階では、探索戦略（ビームサーチ、ベストファーストサーチ）および再ランク付け手法（例：BP-Norm、SBWR）を用いて、ソースの表現そのままでコピーするよう促進する。
• すべてのパラメータ（アテンションおよびコピー機構を含む）にウォームスタートされた事前学習表現を用いることで、訓練の安定性が向上する。
• コピー率は、要約に含まれるn-gramのうち、ソーステキストにそのままで出現するものの割合として定義され、定量的制御指標として機能する。

実験結果

リサーチクエスチョン

• RQ1 単一リファレンス要約から学習したニューラル要約生成モデルは、そのままでコピーする割合を変化させた要約を生成できるか？
• RQ2 提案手法は、訓練段階およびデコード段階の両方でコピーを効果的に制御できるか？
• RQ3 抽出的および要約的要約タイプの両方において、自動評価および人的評価の両方で競争力のあるスコアを達成できるか？
• RQ4 ビームサーチとベストファーストサーチの異なるデコード戦略および再ランク付け手法は、コピー率および要約品質にどのように影響するか？
• RQ5 モデルはドメインに跨って一般化できるか？また、クロスドメイン設定では性能がどのように低下するか？

主な発見

• モデルは、単一リファレンス要約のみを用いているにもかかわらず、Gigawordデータセットにおいて強いベースラインを上回る競争力のあるROUGEおよびBERTScoreのスコアを達成した。
• ビームサーチにSBWR再ランク付けを組み合わせたアプローチが、長さ正規化やベストファーストサーチを上回る最高の性能を示した。
• 高いコピー率（純粋な抽出的要約）を持つモデルは、より要約的であるバージョンよりも、クロスドメイン設定でもより滑らかに性能が低下した。
• 人的評価では、両バージョンのモデルがベースラインを上回り、情報量、文法的適正性、真実性の観点で優れており、最良の要約的バージョンでは真実性スコアが2.865を記録した。
• ベスト・ワーストスケーリングの結果、モデルの最良の要約的バージョンが、最悪のバージョンよりも4.2%の頻度で好まれることが確認され、人間の好みが明確に支持された。
• 複数のリファレンス要約を必要とせず、単一リファレンスからのみでもコピーの制御が有効に可能であることを示し、単一リファレンスからの柔軟な要約生成の可能性を実証した。