[論文レビュー] Closed-Book Training to Improve Summarization Encoder Memory

Yichen Jiang, Mohit Bansal|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling参考文献 40被引用数 4

ひとこと要約

本稿では、要約生成のための2デコーダー・シーケンス・ツー・シーケンス・モデルを提案する。アテンションやコピーメカニズムを備えないクローズドブック・デコーダーが、長大な入力テキストからの重要情報をよりよく記憶するように共有エンコーダーを強制する。この手法により、CNN/Daily MailおよびDUC-2002でROUGEおよびMETEORスコアが顕著に向上し、類似性テストおよびアブレーションスタディにより、エンコーダーの記憶力が強化されていることが示された。

ABSTRACT

A good neural sequence-to-sequence summarization model should have a strong encoder that can distill and memorize the important information from long input texts so that the decoder can generate salient summaries based on the encoder's memory. In this paper, we aim to improve the memorization capabilities of the encoder of a pointer-generator model by adding an additional 'closed-book' decoder without attention and pointer mechanisms. Such a decoder forces the encoder to be more selective in the information encoded in its memory state because the decoder can't rely on the extra information provided by the attention and possibly copy modules, and hence improves the entire model. On the CNN/Daily Mail dataset, our 2-decoder model outperforms the baseline significantly in terms of ROUGE and METEOR metrics, for both cross-entropy and reinforced setups (and on human evaluation). Moreover, our model also achieves higher scores in a test-only DUC-2002 generalizability setup. We further present a memory ability test, two saliency metrics, as well as several sanity-check ablations (based on fixed-encoder, gradient-flow cut, and model capacity) to prove that the encoder of our 2-decoder model does in fact learn stronger memory representations than the baseline encoder.

研究の動機と目的

• アテンションやコピーメカニズムを備えない補助デコーダーを導入することで、シーケンス・ツー・シーケンス要約モデルにおけるエンコーダーの記憶能力を向上させること。
• 従来のモデルが、長大な入力テキストの重要情報をエンコーディング段階で特定・保持する能力に限界を示している問題に対処すること。
• アテンションやコピーメカニズムに依存せずに、エンコーダーがキーメッセージを要約に統合するように強制することで、より強固な記憶表現が得られることを示すこと。
• 向上したエンコーダー記憶力が、自動評価および人的評価スコアの両方で、より優れた要約性能にどのように反映されるかを検証すること。

提案手法

• ポインタジェネレータ・デコーダー（アテンションおよびコピーメカニズムを備える）とクローズドブック・デコーダー（アテンションおよびコピーメカニズムを備えない）が、同一のエンコーダーを共有する二重デコーダー・アーキテクチャを導入する。
• 両デコーダーの個別損失関数の重み付き和を最適化することで、両方のデコーダーを同時に学習させ、エンコーダーが両方の生成（抽象的生成およびアテンション非依存生成）をサポートする記憶状態を生成するように促進する。
• クローズドブック・デコーダーを正則化子として用い、最終的なエンコーダー状態にのみ依存させるよう強制することで、エンコーダーの選択的記憶および長期記憶保持能力を向上させる。
• 共有埋め込みおよび共有エンコーダー・パラメータを用いてLSTMでモデルを実装し、デコーダー間でのパラメータ効率の良い知識移譲を可能にする。
• 汎化性およびロバスト性を評価するために、交差エントロピーおよび強化学習の両方の学習設定を適用する。
• 固定エンコーダー、勾配フロー遮断、モデル容量の制御を用いたアブレーションスタディにより、クローズドブック・デコーダーがエンコーダー記憶に与える影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 ポインタジェネレータ・デコーダーとともにクローズドブック・デコーダーを学習させることで、エンコーダーが長大な入力テキストからの重要情報を記憶する能力が向上するか？
• RQ2 アテンション非対応デコーダーを備えた二重デコーダー構造は、標準のポインタジェネレータ・モデルに比べて、より優れた要約性能を発揮するか？
• RQ3 性能向上の要因は、補助デコーダーの設計に起因するのか、それとも単にモデル容量の増加やアンサンブル効果に起因するのか？
• RQ4 向上したエンコーダー記憶力は、DUC-2002のようなドメイン外テストセットにおいて、どれほど良好な類似性および汎化性能に反映されるか？
• RQ5 ベースラインと比較して、モデルの要約長、重複度、および抽象的特徴はどのように変化するか？

主な発見

• CNN/Daily Mailデータセットでは、2デコーダー・モデル（pg + cbdec）が交差エントロピー設定でROUGE-L F1スコア43.7を達成し、ポインタジェネレータ・ベースラインの42.1を顕著に上回った。
• 強化学習設定では、2デコーダー・モデルがROUGE-L F1スコア44.1を達成したのに対し、ベースラインは42.5であった。これは、異なる学習設定下でも一貫した向上が得られたことを示している。
• DUC-2002のテストオンリー設定においても、汎化性能が向上し、交差エントロピー設定でROUGE-L F1が32.4、RL設定で33.1を記録し、ベースラインを上回った。
• 記憶能力テストでは、2デコーダー・モデルが元のテキストから66.2%の重要語を回復できたのに対し、ベースラインは58.9%であった。これは、エンコーダー記憶力が強化されたことを示している。
• SQuADからのキーワード検出に基づく類似性指標では、2デコーダー・モデルが重要コンテンツをよりよく保持しており、66.2%の重要語が回復されたのに対し、ベースラインは58.9%であった。
• 要約長は66.42語（2デコーダー）対65.88語（ベースライン）とほぼ同等であったが、重複度が低く抑えられており、繰り返しや長さの増加を伴わずに、より良い類似性が得られた。