[論文レビュー] Abstractive Summarization of Reddit Posts with Multi-level Memory Networks

Byeongchang Kim, Hyunwoo Kim+1 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 50被引用数 60

ひとこと要約

本論文は Reddit TIFU を紹介し、Reddit からの大規模な抽象的要約データセット、および dilated convolutions を用いた多段階記憶を持つ新規の multi-level memory networks (MMN) モデルを提案し、抽象的要約生成を改善する。

ABSTRACT

We address the problem of abstractive summarization in two directions: proposing a novel dataset and a new model. First, we collect Reddit TIFU dataset, consisting of 120K posts from the online discussion forum Reddit. We use such informal crowd-generated posts as text source, in contrast with existing datasets that mostly use formal documents as source such as news articles. Thus, our dataset could less suffer from some biases that key sentences usually locate at the beginning of the text and favorable summary candidates are already inside the text in similar forms. Second, we propose a novel abstractive summarization model named multi-level memory networks (MMN), equipped with multi-level memory to store the information of text from different levels of abstraction. With quantitative evaluation and user studies via Amazon Mechanical Turk, we show the Reddit TIFU dataset is highly abstractive and the MMN outperforms the state-of-the-art summarization models.

研究の動機と目的

• Reddit TIFU（Reddit 由来の非公式なオンラインテキストからの大規模な抽象的要約データセット）を導入する。
• 抽象的要約を改善するために、複数の抽象度レベルで情報を格納する新規モデル（MMN）を開発する。
• Reddit TIFU、Newsroom-Abs、および XSum データセットにおいて、MMN を最先端の抽象的要約モデルと比較して評価する。
• データセットの抽象的特性と、モデルが高度に抽象的な要約を生成する能力を評価する。

提案手法

• Reddit から 122,933 組の投稿–要約ペア（TIFU-short および TIFU-long）を含む Reddit TIFU データセットを作成する。
• 単語レベル、文レベル、段落レベル、文書レベルのメモリを持つ MMN を、メモリを書き込むために膨張畳み込みを用いて開発する。
• 畳み込み型メモリフレームワーク内で、レイヤー正規化と重み正規化を備えた正規化ゲーティッドタンハユニット（NGTU）を導入する。
• 全文埋込みに対するグローバル条件付けと多段階メモリスロットへのアテンションを備えた WaveNet に似たデコーダを使用する。
• 予測を正規化するためにラベル滑らか化クロスエントロピー loss で訓練する。
• 困惑度と ROUGE 指標、および Amazon Mechanical Turk (AMT) のユーザ調査で評価する。

実験結果

リサーチクエスチョン

• RQ1 Reddit TIFU は従来のニュースベースデータセットと比較して高度に抽象的なデータセットですか？
• RQ2 MMN モデルは Reddit TIFU、Newsroom-Abs、XSum で最先端の抽象的要約手法を上回りますか？
• RQ3 多段階メモリ表現と膨張畳み込みを用いた書き込みは、標準的な seq2seq モデルより抽象要約の質を改善しますか？
• RQ4 抽象的要約タスクにおける人間評価で、MMN はベースラインと比較してどうですか？

主な発見

• Reddit TIFU は高度に抽象的で、Ext-Oracle の低い性能と要約内容が元テキスト全体に分布していることから抽象性の広がりが示される。
• MMN は Reddit TIFU において ROUGE と perplexity で最先端の抽象モデルを上回り、TIFU-short および TIFU-long の両方データセットで優れる。
• MMN は Newsroom-Abs および XSum でも prior abstractive methods と比較して競争力のあるまたは優れた結果を出す。
• アブレーション研究は、膨張畳み込み、多段階メモリ、および正規化ゲーティッドタンハユニットが MMN の性能に寄与することを示している。
• AMT のユーザー調査は、人間の評価者が MMN 生成要約をいくつかのベースラインより好むことを示している。