[論文レビュー] Neural Abstractive Text Summarization and Fake News Detection

Soheil Esmaeilzadeh, Gao Xian Peh+1 more|arXiv (Cornell University)|Mar 24, 2019

Topic Modeling参考文献 20被引用数 31

ひとこと要約

本稿では、注目メカニズムとカバレッジ機構を備えたポインタジェネレーターネットワークを用いたニューラル抽象的要約モデルを提案する。このモデルは、未知語彙外（OOV）誤りと繰り返しの低減においてベースラインモデルを上回る。さらに、本研究では、このモデルが生成する要約がフェイクニュース検出の精度を顕著に向上させることを示している。要約を使用した場合の精度は93%に達し、全文を用いた場合の92%を上回る。要約は、下流の自然言語処理タスクにおける有効な特徴工学的手法であることを示している。

ABSTRACT

In this work, we study abstractive text summarization by exploring different models such as LSTM-encoder-decoder with attention, pointer-generator networks, coverage mechanisms, and transformers. Upon extensive and careful hyperparameter tuning we compare the proposed architectures against each other for the abstractive text summarization task. Finally, as an extension of our work, we apply our text summarization model as a feature extractor for a fake news detection task where the news articles prior to classification will be summarized and the results are compared against the classification using only the original news text. keywords: LSTM, encoder-deconder, abstractive text summarization, pointer-generator, coverage mechanism, transformers, fake news detection

研究の動機と目的

• 系列対系列モデルの一般的な問題、すなわち未知語彙外語の生成と繰り返しを軽減する、堅牢な抽象的テキスト要約モデルの開発。
• LSTMエンコーダデコーダに注目を備えたモデル、ポインタジェネレーターネットワーク、カバレッジ機構、トランスフォーマーを含む、さまざまなニューラルアーキテクチャの抽象的要約における性能を比較すること。
• 要約がフェイクニュース検出のための有効な特徴抽出手法として機能するかどうかを評価すること。
• 要約モデルがニュース記事の見出し生成ツールとしての可能性を調査すること。

提案手法

• ベースラインモデルは、アライメントスコアに基づいてエンコーダー隠れ状態の重み付き和として文脈ベクトルを計算する注目メカニズムを備えたLSTMエンコーダデコーダアーキテクチャを採用している。
• ポインタジェネレーターネットワークは、コピー機構（ポインタ）と語彙生成機構（ジェネレータ）を統合しており、これによりモデルがソーステキストからレア語やOOV語を直接コピーできる。
• カバレッジ機構は、以前に注目した単語を追跡することで注目を動的に調整し、時間経過とともに注目重みを蓄積するカバレッジベクトルによって繰り返しを低減する。
• モデルはソフト注目メカニズムを用いており、注目スコアをソフトマックス正規化した上で、エンコーダー隠れ状態の重み付き和として文脈ベクトルを計算する。
• フェイクニュース検出のため、性能が最も優れた要約モデルを用いてニュース記事から要約を生成し、その要約を埋め込み層を備えたBi-LSTM分類器に供給する。
• ハイパーパramータチューニングは、LSTMおよびBi-LSTMアーキテクチャを用い、サイズとドロップアウト率を変更した複数の設定で実施され、6,335件のニュース記事から成るバランスの取れたデータセットを用いた5分割交差検証が実施された。

実験結果

リサーチクエスチョン

• RQ1 ポインタジェネレーターネットワークにカバレッジ機構を組み合わせることで、OOV誤りと繰り返しを低減し、標準的な系列対系列モデルを上回る抽象的要約性能を達成できるか？
• RQ2 LSTMエンコーダデコーダに注目を備えたモデル、ポインタジェネレーターネットワーク、カバレッジ機構、トランスフォーマーといった異なるニューラルアーキテクチャは、要約品質と耐性の観点でどのように比較できるか？
• RQ3 モデルが生成する要約を入力特徴として用いることで、生の記事本文や見出しを用いた場合と比較して、フェイクニュース検出の精度が向上するか？
• RQ4 要約モデルがニュース記事の自動見出し生成ツールとしてどの程度の役割を果たせるか？

主な発見

• ポインタジェネレーターモデルにカバレッジ機構を組み合わせたモデルが、抽象的要約において最高の性能を示し、繰り返しの低減とOOV語の処理においてベースラインモデルを上回った。
• 要約モデルにより平均要約長が20.41語に短縮されたが、重要な内容は保持された。この要約は、全文入力や見出し入力よりも下流タスクで優れた性能を示した。
• 要約を使用したフェイクニュース検出では93%の精度を達成し、全文を用いた92%を上回り、見出しのみを用いた91%をも上回った。
• 要約テキストを入力として使用した場合、128ユニットと0.2のドロップアウト率を備えたBi-LSTM分類器が、検証精度93.1%を達成し、良好な一般化性能を示した。
• 本研究では、抽象的要約がフェイクニュース検出における分類性能を向上させる有効な特徴工学的手法であることが確認された。
• 要約モデルは、要約が原典記事の主要な趣旨を反映するコンパクトで内容の濃い要約を生成するため、自動見出し生成ツールとしての可能性も示している。