[論文レビュー] Query-Based Abstractive Summarization Using Neural Networks

Johan Hasselqvist, Niklas Helmertz+1 more|arXiv (Cornell University)|Dec 17, 2017

Topic Modeling参考文献 25被引用数 24

ひとこと要約

本論文は、与えられたクエリに特化した要約を生成するためのニューラルネットワークモデルを提案する。このモデルはポインタジェネレータアーキテクチャを用いて、要約を要約し直す形で簡潔に生成する。一般的な抽象的要約モデルと比較してROUGEスコアは低かったが、クエリ情報を効果的に統合し、抽出的ベースラインよりも焦点が当たった要約を生成した。これは、序列変換学習を用いたクエリ誘導型抽象的要約の可能性を示している。

ABSTRACT

In this paper, we present a model for generating summaries of text documents with respect to a query. This is known as query-based summarization. We adapt an existing dataset of news article summaries for the task and train a pointer-generator model using this dataset. The generated summaries are evaluated by measuring similarity to reference summaries. Our results show that a neural network summarization model, similar to existing neural network models for abstractive summarization, can be constructed to make use of queries to produce targeted summaries.

研究の動機と目的

• ユーザーのクエリに特化した要約を生成するニューラルネットワークモデルを設計し、抽出的手法よりも関連性を高める。
• Hermannらの研究から得た質問応答データセットを再利用し、参照回答を要約として再利用することで、クエリベースの要約データセットに変換する。
• モデルが文法的に正しい、クエリに関連した要約を生成でき、文の丸写しではなく内容を再表現できることを評価する。
• 注目度の集中、繰り返し、エンティティの処理の観点から、モデルの挙動を分析し、特にクエリの関連性と要約長との関係を検討する。

提案手法

• 元々質問応答に使われたCNN/Daily Mailデータセットを、回答を参照要約とし、クエリを入力プロンプトとして扱うことで、クエリベースの要約データセットに変換する。
• ポインタジェネレータネットワークに注目メカニズムを組み合わせ、元のテキストからのコピーとOOV語の生成を両立させる。
• 動的メモリネットワークのインスピレーションを受けて、クエリに応じた注目メカニズムを採用し、要約生成をクエリに条件づける。
• エンコーダ・デコーダアーキテクチャを用いた序列変換学習を採用し、エンコーダがドキュメントとクエリを処理し、デコーダがトークン単位で要約を生成する。
• 過度に短い要約を生成する傾向を軽減するため、長さ正規化を施したビームサーチを適用する。
• Seeら（2017）の手法に倣い、繰り返しの発生を抑えるカバレッジ機構を実装する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル抽象的要約モデルは、文の丸写しではなく、内容を再表現する形で、クエリに特化した的を射ねた要約を効果的に生成できるか？
• RQ2 クエリに配慮した抽象的モデルの性能は、抽出的および無情報の抽象的ベースラインと比較して、ROUGEスコアおよび人間による関連性の観点でどう異なるか？
• RQ3 モデルはクエリに基づいて、ドキュメントの関連する部分に注目するか。また、ドキュメントの初期部に偏る傾向があるか？
• RQ4 繰り返し、事実の不一致、再表現の失敗といったモデルの失敗モードは何か。これらはトレーニングデータやアーキテクチャとどのように関係しているか？

主な発見

• ROUGEスコアでは抽出的ベースラインに劣るものの、モデルはそれらよりもクエリに焦点を当てた要約を生成した。
• 平均要約長は11.27語であり、データセットの平均14.44語よりも著しく短く、これはビームサーチによる短縮傾向を示唆している。
• 参照要約が短いか、複数のドキュメントに共通する場合、頻繁にそのフレーズや文を繰り返す。
• 注目メカニズムはしばしばドキュメントの冒頭に集中するが、これは初期のエンティティの登場やドキュメント構造に起因する可能性がある。ただし、必ずしもクエリと一致するとは限らない。
• 事実の誤った要約を生成することがあり、例えば「Netflixの最高経営責任者であるオバマ」と記述するなど、記事が政策規制について述べているにもかかわらず。
• 繰り返しを抑える努力をしたが、依然として初期のデコーディング段階で繰り返しの挙動を示しており、より強力なカバレッジ機構の必要性が示唆される。