[論文レビュー] Neural Network-Based Abstract Generation for Opinions and Arguments

Lu Wang, Ling Wang|arXiv (Cornell University)|Jun 9, 2016

Topic Modeling参考文献 34被引用数 17

ひとこと要約

本稿では、映画レビュー や論争的トピックに関する議論など、意見が強いテキストの要約のための注目メカニズムを備えたニューラルネットワークモデルを提案する。重要度に基づくサンプリングを用いて顕著な入力ユニットに注目することで、モデルは一文の要約を流暢で簡潔かつ情報豊富に生成し、2つの新しいデータセットにおいて自動評価および人間評価の両方で、最先端の抽出的および抽象的要約手法を上回る性能を発揮した。

ABSTRACT

We study the problem of generating abstractive summaries for opinionated text. We propose an attention-based neural network model that is able to absorb information from multiple text units to construct informative, concise, and fluent summaries. An importance-based sampling method is designed to allow the encoder to integrate information from an important subset of input. Automatic evaluation indicates that our system outperforms state-of-the-art abstractive and extractive summarization systems on two newly collected datasets of movie reviews and arguments. Our system summaries are also rated as more informative and grammatical in human evaluation.

研究の動機と目的

• 複数の意見的テキストユニットから、流暢で簡潔かつ情報豊富な要約を生成できるニューラル抽象的要約モデルの開発。
• しばしば冗長または文法的に不適切な内容を含む抽出的手法の限界の解消。
• 議論セットから主張を生成可能にする、意見要約分野における新規タスクの実現。
• 入力テキストユニットの重要度に基づくサンプリングにより、大規模な入力セットにおける学習効率とモデル性能の向上。
• 意見的テキストにおける既存の抽出的および抽象的要約システムに対する優れた性能の実証。

提案手法

• モデルは、複数の入力テキストユニットにわたる顕著な情報を注目できるように、注目メカニズムを備えたシーケンス・トゥ・シーケンス学習に基づくエンコーダ・デコーダアーキテクチャを採用する。
• 重要度に基づくサンプリング法により、学習済みの重要度スコアに基づいて入力テキストユニットのサブセットを選択し、学習効率とモデルの一般化性能を向上させる。
• 重要度スコアは、情報豊かな入力ユニットを優先するためのペairwise preferenceベースの正則化を備えた新しい回帰モデルを用いて推定される。
• デコーダは、エンコーダからのコンテキストをソフト注目により活用しながら、トークン単位で抽象的要約を生成する。
• モデルは、映画レビュー用と論争的トピックに関する議論用の2つの新しいデータセット上で、エンド・ツー・エンドに訓練される。
• n-bestで生成された要約の再ランク付けによる後処理により、情報量と全体的な性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを備えたニューラルネットワークは、複数の意見的テキストユニットから効果的に抽象的要約を生成できるか？
• RQ2 均一サンプリングやトップ-Kサンプリングと比較して、重要度に基づくサンプリングはモデル性能と学習効率を向上させるか？
• RQ3 手作業で作成したテンプレートに依存せずに、文法的に正しいかつ情報豊富な要約を生成できるか？
• RQ4 提案されたモデルは、意見的テキストにおける最先端の抽出的および抽象的要約システムと比較して、どのように性能を発揮するか？
• RQ5 モデルは、映画レビューおよび議論セットといった、さまざまな種類の意見的コンテンツにどの程度一般化できるか？

主な発見

• Rotten Tomatoes映画レビュー データセットにおいて、提案モデルはBLEUスコア24.88を達成し、以前の最先端手法（19.72）を上回った。
• Idebate議論データセットでは、重要度に基づくサンプリングが均一サンプリングやトップ-Kサンプリングよりも高いMETEORスコアを達成し、より流暢で関連性の高い要約であることが示された。
• 人間評価により、本モデルが生成した要約は、ベースラインシステムの要約よりも情報量が多く、文法的にも正しいと評価された。
• 重要度に基づくサンプリングは、トップ-Kサンプリングと同等の性能を達成しながらも、より効率的であったため、大規模な入力セットの処理において有効であることが示された。
• n-bestで生成された要約の再ランク付けにより、要約の品質が顕著に向上した。これは、モデル出力が情報量を高めるために後処理を受けることで改善できることを示唆している。
• モデルは、一部の事実の誤認を示すことがあり、例えば俳優や監督を誤って特定するなど、今後の研究でより良いエンティティレベルの推論が必要であることが示された。