[論文レビュー] Efficient Summarization with Read-Again and Copy Mechanism

Wenyuan Zeng, Wenjie Luo+2 more|arXiv (Cornell University)|Nov 10, 2016

Topic Modeling参考文献 19被引用数 82

ひとこと要約

本稿では、要約の質を向上させるために「再読み込み（Read-Again）」エンコーダーと、新しいコピーメカニズムを提案する。再読み込みモデルは入力系列を2回処理することで、各単語の表現が完全な文脈に依存するようにする。一方、コピーメカニズムにより、最小限のデコーダー語彙（2kまで）を実現し、OOV語を効率的に処理する。これにより、デコーディング時間を80%短縮し、GigawordおよびDUCデータセットで最先端のROUGEスコアを達成する。

ABSTRACT

Encoder-decoder models have been widely used to solve sequence to sequence prediction tasks. However current approaches suffer from two shortcomings. First, the encoders compute a representation of each word taking into account only the history of the words it has read so far, yielding suboptimal representations. Second, current decoders utilize large vocabularies in order to minimize the problem of unknown words, resulting in slow decoding times. In this paper we address both shortcomings. Towards this goal, we first introduce a simple mechanism that first reads the input sequence before committing to a representation of each word. Furthermore, we propose a simple copy mechanism that is able to exploit very small vocabularies and handle out-of-vocabulary words. We demonstrate the effectiveness of our approach on the Gigaword dataset and DUC competition outperforming the state-of-the-art.

研究の動機と目的

• 標準的なRNNエンコーダーでは左から右への文脈しか条件として使えないため、単語表現が最適でない問題に対処すること。
• デコーダー語彙のサイズを最小限にすることで、seq2seqモデルのデコーディング時間を短縮すること。
• 大規模な語彙に依存せずに、OoV（Out-of-Vocabulary）語を効果的に処理すること。
• GigawordやDUCのようなベンチマークデータセットにおける抽象的要約性能を向上させること。
• 原理的かつ整合的なコピーメカニズムを用いることで、ROUGEスコアを維持または向上させながら、推論を高速化すること。

提案手法

• エンコーダーが入力系列を2回処理する「再読み込み（Read-Again）」機構を提案。1回目の処理で初期表現を生成し、2回目の処理でそれらを用いて完全な文脈に依存する表現を精緻化する。
• 両方の処理で双方向RNN（LSTM/GRU）を用い、1回目の処理の隠れ状態が2回目の処理の初期化に影響を与える。
• デコーダーが生成する際、入力系列から希少語やOoV語を直接コピーモードでコピーできるコピーメカニズムを導入。
• 小さなデコーダー語彙（例：2k）を用い、生成か入力からのコピーモードかを決定するためのソフトアテンション機構を採用。
• 入力語に注目するゲート付き機構を用いてコピーモードの確率を計算し、固有名、希少名詞、形容詞、動詞などを正確にコピング可能にする。
• クロスエントロピー損失を用いてエンドツーエンドで学習し、生成とコピーデシジョンの両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 完全な系列の文脈を反映させた表現に到る前に、2回目の読み込みによって単語表現の質が向上するか？
• RQ2 軽量なコピーメカニズムは、要約品質を損なわせることなく、デコーダー語彙のサイズを小さくできるか？
• RQ3 コピーメカニズムは、抽象的要約におけるOoV語の処理をどの程度改善できるか？
• RQ4 語彙サイズとROUGEスコアの間にはどのようなトレードオフがあるか？
• RQ5 再読み込みとコピーメカニズムの組み合わせにより、最先端の性能を維持しながらデコーディング時間を顕著に短縮できるか？

主な発見

• 再読み込みモデルは、DUC 2004およびGigawordデータセットで最先端のROUGEスコアを達成し、先行のSOTA手法を上回った。
• コピーメカニズムを用いることで、2kのデコーダー語彙でも高いROUGEスコアを維持でき、69k語彙と比較してスコアが2〜3ポイント低下したにとどまった。
• 2k語彙を用いた場合、1文あたりのデコーディング時間が0.38秒から0.08秒に短縮され、79%の高速化が達成された。
• コピーメカニズムにより、『Ansett』のような固有名、形容詞、動詞といった希少語が効果的にコピングされ、要約の流暢さと正確性が向上した。
• 可視化の結果、モデルが入力から『headmaster』『paedophilia』『angola』といったキーワードをコピングしていることが示され、意味の正確性が保たれた。
• コピングされた語（例：『headmaster』）に対するモデルが学習した埋め込み表現は、標準的な表現（例：『teacher』）と意味的に近いことが示され、効果的な表現学習が行われた。