[論文レビュー] Controlling Decoding for More Abstractive Summaries with Copy-Based Networks

Noah Weber, Leena Shekhar+2 more|arXiv (Cornell University)|Mar 19, 2018

Topic Modeling参考文献 15被引用数 12

ひとこと要約

この論文は、コピーを好む低混合係数に対してペナルティを与えることで、抽出的要約に近い出力を抑制する、再訓練を必要としない単純なデコード手法を提案する。入力とのn-gram一致率を最大24.79ポイント（25-gramsで28.72%から3.93%へ）まで低下させつつ、元のモデルとROUGEスコアの差が2ポイント以内に保たれるため、再訓練なしにより抽象的（abstractive）な要約を効果的に生成可能である。

ABSTRACT

Attention-based neural abstractive summarization systems equipped with copy mechanisms have shown promising results. Despite this success, it has been noticed that such a system generates a summary by mostly, if not entirely, copying over phrases, sentences, and sometimes multiple consecutive sentences from an input paragraph, effectively performing extractive summarization. In this paper, we verify this behavior using the latest neural abstractive summarization system - a pointer-generator network. We propose a simple baseline method that allows us to control the amount of copying without retraining. Experiments indicate that the method provides a strong baseline for abstractive systems looking to obtain high ROUGE scores while minimizing overlap with the source article, substantially reducing the n-gram overlap with the original article while keeping within 2 points of the original model's ROUGE score.

研究の動機と目的

• アブストラクト要約を目的とした最先端のポインタジェネレーターネットワークが、設計上は抽象的要約を目的としているにもかかわらず、なぜしばしば抽出的要約に近い出力を生成するのかを解明すること。
• デコード段階における過剰なコピーが、抽象的要約の目的を損なう問題に対処すること。
• モデルの再訓練なしに推論段階で抽象度のレベルを制御できる手法を開発すること。
• コピーを減らすことで要約の新規性が向上するか、かつROUGEおよびMETEORスコアが高く維持されるかを評価すること。

提案手法

• デコード中に各仮説の平均混合係数が事前に定めた目標値からどれほど逸脱しているかを評価するペナルティ項をビームスコアに追加することで、ビームサーチを変更する。
• 各仮説のデコード過程で、生成語と入力からのコピーのバランスを制御する混合係数 $ m_t $ を追跡する。
• より生成に寄与させるために目標混合係数 $ m^* $ を設定する（例：0.4）；この目標値からの逸脱はビームスコアでペナルティを受ける。
• ペナルティ項はハイパーパrameter $ \eta $ でスケーリングされ、推論段階での抽象度の微調整が可能になる。
• この手法は推論時のみに作用し、モデルの再訓練やアーキテクチャの変更は一切不要である。
• ROUGE、METEOR、およびn-gram一致率を用いて、CNN/DailyMailデータセット上で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 アブストラクト要約用のポインタジェネレーターネットワークが推論段階で、入力からのコピーにどれほど依存しているか。
• RQ2 モデルの再訓練なしに、生成要約の抽象度をデコード段階で制御できるか。
• RQ3 入力とのn-gram一致率を減らすことで、要約の抽象的性質が向上するか、かつ自動評価スコア（ROUGEおよびMETEOR）が維持されるか。
• RQ4 提案手法が複数の入力文を一度に要約する能力に、どのような影響を与えるか。

主な発見

• ポインタジェネレーターモデルは、カバレッジペナルティを使用する際、入力とのn-gram一致率が極めて高く、25-gramsで28.72%が入力と一致している。
• 提案されたコピー制御デコードにより、カバレッジペナルティを適用した状況で25-gramsの一致率が28.72%から3.93%に低下し、24.79ポイントの減少が達成された。
• ROUGE-Lスコアは元のモデル（28.86）と2ポイント以内（27.63）で維持され、METEORスコアもほぼ同一であるため、品質の著しい低下はないことが示された。
• この手法により、入力に存在しない新しい語（例："orders" や "says"）の生成や、複数文を1文に要約する凝縮が可能となり、より抽象的（abstractive）な要約が得られた。
• ヒートマップ分析から、制御されたデコードがより高い混合係数を促進し、硬直的なコピー列を妨げ、注目機構が入力セグメント間を自由に移動させることを確認した。
• カバレッジペナルティがコピーを増加させるにもかかわらず、本手法はその影響を克服できており、強靭性と実用的価値を示している。