[論文レビュー] Towards Abstraction from Extraction: Multiple Timescale Gated Recurrent Unit for Summarization

Minsoo Kim, Dennis Singh Moirangthem+1 more|arXiv (Cornell University)|Jul 4, 2016

Topic Modeling参考文献 14被引用数 6

ひとこと要約

本論文は、長大な科学的テキストのsequence-to-sequence的要約の性能を向上させるために、時間的階層構造を導入した新しいRNNアーキテクチャ、Multiple Timescale Gated Recurrent Unit (MTGRU)を提案する。異なるRNN層に異なる時定数を適用することで、MTGRUは構成的理解を強化し、トレーニング時間を短縮し、標準的なRNNよりも顕著な性能向上を達成するとともに、抽出的トレーニングデータからの抽象化を可能にする。

ABSTRACT

In this work, we introduce temporal hierarchies to the sequence to sequence (seq2seq) model to tackle the problem of abstractive summarization of scientific articles. The proposed Multiple Timescale model of the Gated Recurrent Unit (MTGRU) is implemented in the encoder-decoder setting to better deal with the presence of multiple compositionalities in larger texts. The proposed model is compared to the conventional RNN encoder-decoder, and the results demonstrate that our model trains faster and shows significant performance gains. The results also show that the temporal hierarchies help improve the ability of seq2seq models to capture compositionalities better without the presence of highly complex architectural hierarchies.

研究の動機と目的

• 長大で複雑な科学的論文における要約生成の課題に取り組む。標準的なRNNは、シーケンス長および構成的複雑さのため、その処理に苦労する。
• アーキテクチャの複雑さやメモリ使用量を増加させることなく、文や段落レベルの構造といった複数の構成的レベルをモデル化できるように、seq2seqモデルの能力を向上させる。
• 抽出的要約（要約文）のペairを用いてトレーニングすることで、エンドツーエンドの要約生成を可能にし、一般化能力を活用して抽象的出力を得る。
• 従来のRNNエンコーダ・デコーダと比較して、トレーニング時間を短縮しつつ、性能を維持または向上させる。
• ArXivから科学的論文データセットを新たに構築し、段落レベルの要約評価を可能にする。これにより、未学習の複文入力に対する評価が可能となる。

提案手法

• 人間の脳における時間的階層構造を模倣し、深層RNNの異なる層に異なる時定数を適用するMultiple Timescale Gated Recurrent Unit (MTGRU)を提案する。
• 長距離依存性および科学的テキスト内の構成的構造をモデル化するため、MTGRUをエンコーダ・デコーダフレームワークに統合する。
• 各段落から代表的な文を抽出するためにTF-IDFスコアを用いる。これにより、入力段落とその最も代表的な文のペアを形成する。
• 入力段落に対してターゲット要約の尤度を最大化するseq2seq目的関数を用いて、モデルをエンドツーエンドでトレーニングする。
• 各段落の要約を連結して、非専門家向けの記事レベル要約を生成し、元の記事の要約と照合して評価する。
• 階層的アテンションメカニズムを適用し、デコーダが異なる時定数スケールでエンコーダ出力の関連部分に注目できるようにする。

実験結果

リサーチクエスチョン

• RQ1 多時定数RNNアーキテクチャは、アーキテクチャの複雑さを増さずに、長文要約における構成的階層のモデリングを改善できるか？
• RQ2 MTGRUによる時間的階層の導入は、標準的なRNNと比較して、要約生成においてトレーニングを高速化し、性能を向上させることができるか？
• RQ3 抽出的文ペアでトレーニングされたモデルは、複文段落の抽象的要約を生成する一般化能力を持つだろうか？
• RQ4 MTGRUモデルは、科学的論文における意味的および話法的構成的構造をどの程度正確に捉えられるか？
• RQ5 MTGRUアーキテクチャは、複数段落の科学的テキストに対する完全な抽象的、エンドツーエンド要約をサポートするように拡張可能だろうか？

主な発見

• MTGRUモデルは、従来のRNNエンコーダ・デコーダと比較して、トレーニング時間を著しく短縮し、最大で1エポック分の短縮が達成された。
• 要約品質において顕著な性能向上が得られ、特に複数文にわたる重要な内容を捉える能力が向上した。
• 抽出的要約（代表文）のみでトレーニングされたにもかかわらず、モデルは抽象的要約を生成する一般化能力を示し、入力に存在しない語（例：'explored'）を生成した。
• MTGRUにおける時間的階層構造により、追加のアーキテクチャ的オーバーヘッドを伴わず、文レベルおよび段落レベルの構成的構造をよりよく捉えることができるようになった。
• モデルは強力な一般化能力を示し、1段落あたり複数の重要ポイントを学習しており、単一文抽出を越えた抽象化を可能にする。
• 結果から、MTGRUは、より抽象的なターゲットでトレーニングされた場合、将来的に完全な抽象的エンドツーエンド要約システムの基盤として機能できる可能性を示唆している。