[論文レビュー] Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization

Jun Suzuki, Masaaki Nagata|arXiv (Cornell University)|Dec 31, 2016

Natural Language Processing Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、RNNベースの抽象的要約生成における冗長な繰り返し生成を抑えるために、エンコーディング段階で各ターゲット語彙語の上限頻度を同時に推定する単語頻度推定（WFE）サブモデルを提案する。推定された頻度制限に基づいて出力語の生成を制御することにより、繰り返しを顕著に低減し、ROUGEスコアを向上させ、主モデルアーキテクチャを変更せずにベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

This paper tackles the reduction of redundant repeating generation that is often observed in RNN-based encoder-decoder models. Our basic idea is to jointly estimate the upper-bound frequency of each target vocabulary in the encoder and control the output words based on the estimation in the decoder. Our method shows significant improvement over a strong RNN-based encoder-decoder baseline and achieved its best results on an abstractive summarization benchmark.

研究の動機と目的

• RNNベースのエンコーダデコーダモデルにおける抽象的要約生成における冗長な繰り返し生成問題に対処すること。
• 出力長が制限された要約タスクにおいて、冗長性が限られたスペースを無駄にすることを改善すること。
• 特定の語やフレーズの過剰生成を防ぐために、出力における語頻度を明示的に管理する手法を開発すること。
• GigawordおよびDUC-2004を含む標準的な抽象的要約ベンチマークにおいて、提案手法の有効性を評価すること。
• 頻度に基づく制御が、自動評価指標と人間による評価の両方の品質向上に寄与することを示すこと。

提案手法

• 本手法は、エンコーディング段階で各ターゲット語が要約内で出現できる最大回数を推定する単語頻度推定（WFE）サブモデルを導入する。
• WFEサブモデルは、これまでにどのくらいの回数その語が生成されたかを追跡し、将来の使用可能性を予測することで、過剰生成の抑制を可能にする。
• デコーディング段階では、推定された頻度制限に基づいて、その上限を超える出力トークンのペナルティを課すか、抑制する。
• 本手法は、グローバルアテンションを備えた標準的なRNNベースのエンコーダデコーダにWFEサブモデルを統合するが、主アーキテクチャを変更しない。
• WFEコンponentは、語頻度を推定するための学習可能な関数を用い、過学習を避けるためにマージンベースの制約を適用する。
• 本手法は標準的なポイントワイズ対数尤度最大化により学習され、K番目の選択を伴うビームサーチデコーディングにより評価される。

実験結果

リサーチクエスチョン

• RQ1 各ターゲット語の上限頻度を推定するサブモデルが、抽象的要約における冗長な繰り返し生成を低減できるか？
• RQ2 頻度に基づく制御は、リソースが限られた環境や長さ制約のある要約タスクにおいて、ROUGEスコアなどの自動評価指標を向上させられるか？
• RQ3 アーキテクチャの変更や複雑な学習スキームなしに、本手法が強力なRNNベースのベースラインを上回れるか？
• RQ4 WFEサブモデルの頻度推定精度がやや劣っていても、実際の生成品質に著しい効果をもたらすか？
• RQ5 本手法は、画像キャプションなど他の損失圧縮タスクへ一般化可能か？

主な発見

• Gigawordデータセットにおいて、EncDec+WFEモデルは強力なベースラインを大きく上回り、ROUGE-1(F)、ROUGE-2(F)、ROUGE-L(F)スコアでそれぞれ33.65、16.12、31.37の向上を達成した。
• DUC-2004ベンチマークでは、EncDec+WFEは、最小リスクトレーニング（MRT）を用いた以前のトップシステムをも上回り、最先端の結果を達成した。
• 定性的な分析から、本手法は「black women black women」や「pinochet’s pinochet’s」のような繰り返しフレーズや語の削減に効果的であることが示された。
• 誤差行列で示されるように、WFEサブモデルの頻度推定精度はやや低いものの、依然として全体の生成品質とROUGEスコアに顕著な向上をもたらした。
• 誤差のある頻度推定であっても、生成制御に用いることで極めて有効であることが示され、本手法のロバスト性が裏付けられた。
• 本手法はMRTのようなシーケンスレベルの学習目的と併用可能であり、このような技術と組み合わせることでさらなる性能向上が期待できる。