[論文レビュー] Global Encoding for Abstractive Summarization

Junyang Lin, Xu Sun+2 more|arXiv (Cornell University)|May 10, 2018

Topic Modeling参考文献 21被引用数 23

ひとこと要約

本稿では、局所的特徴を捉える1次元畳み込みと、自己注意機構を統合した畳み込みゲートユニット（CGU）を用いたグローバルエンコーディングフレームワークを提案する。このフレームワークにより、エンコーダー出力の表現をグローバルな文脈で精錬し、要約の反復を低減するとともに意味的関連性を向上させる。LCSTSおよびGigawordで評価した結果、ROUGE-2 F1スコアはそれぞれ26.8および17.8を達成し、ベースラインのseq2seqモデルと比較して反復が顕著に減少した。

ABSTRACT

In neural abstractive summarization, the conventional sequence-to-sequence (seq2seq) model often suffers from repetition and semantic irrelevance. To tackle the problem, we propose a global encoding framework, which controls the information flow from the encoder to the decoder based on the global information of the source context. It consists of a convolutional gated unit to perform global encoding to improve the representations of the source-side information. Evaluations on the LCSTS and the English Gigaword both demonstrate that our model outperforms the baseline models, and the analysis shows that our model is capable of reducing repetition.

研究の動機と目的

• 要約生成におけるアテンションベースのseq2seqモデルの反復と意味的不関連性を解消すること。
• グローバルな文脈を用いてソース側表現を精錬することで、生成要約の質を向上させること。
• グローバルエンコーディングによる二次的特徴のフィルタリングにより、ノイズや冗長なアテンションアラインメントへの依存度を低減すること。
• 入力長の変動に強く、要約の意味的整合性を向上させること。

提案手法

• 双方向LSTMエンコーダー出力の上に畳み込みゲートユニット（CGU）を適用し、グローバルエンコーディングを実行する。
• パラメータ共有を用いた1次元畳み込みによりn-gram特徴を抽出し、ソーステキスト内の局所的相関を捉える。
• 自己注意機構をCGUに統合し、エンコーダー表現間の長距離依存性およびグローバルな関係をモデル化する。
• 精錬されたエンコーダー表現を用いてアテンションスコアを計算し、生成要約の関連性と多様性を向上させる。
• エンコーダー出力上でのソフトアテンション機構を用いて、交差エントロピー損失を用いてエンドツーエンドで学習する。
• CGUのゲーティング機構により、顕著な情報を選択的に保持するとともに、ノイズや冗長な特徴を抑制する。

実験結果

リサーチクエスチョン

• RQ1 グローバルエンコーディングにより、ソース表現の精錬が要約の質と整合性を向上させられるか？
• RQ2 提案されたCGU機構は、標準的なseq2seqモデルと比較して生成要約の反復を低減できるか？
• RQ3 モデルはベンチマーク要約データセットでROUGEスコアをどの程度向上できるか？
• RQ4 モデルは異なる入力長およびテキストの複雑さに対してどのように性能を発揮するか？

主な発見

• LCSTSデータセットではROUGE-2 F1スコアが26.8を達成し、ベースラインモデルを上回った。
• 英語のGigawordデータセットではROUGE-2 F1スコアが17.8を達成し、大規模要約処理において優れた性能を示した。
• モデルは反復を顕著に低減し、1〜4-gramの重複率がベースラインのseq2seqモデルと比較して参考要約に近づいた。
• 生成された要約は意味的により関連性があり、整合性があり、国名などの冗長な詳細ではなく、価格差といったコアなアイデアに焦点を当てた。
• CGUベースのモデルは、標準的なseq2seqモデルと比較して、入力長の変動に対してより頑健であった。
• 定性的な分析により、モデルがソーステキストの主要な趣旨（例：中国におけるスターバックスの75％の価格プレミアム）をよりよく捉えていることが確認された。