[論文レビュー] Entity Commonsense Representation for Neural Abstractive Summarization

Reinald Kim Amplayo, Seonjae Lim+1 more|arXiv (Cornell University)|Jun 14, 2018

Topic Modeling参考文献 26被引用数 11

ひとこと要約

本稿では、選択的意味解消とファームアテンションを用いて、関連付いたエンティティをトピックに配慮したベクトル表現に変換するモジュールであるEntity2Topic（E2T）を提案する。序列モデルに適用した場合、GigawordおよびCNNデータセットの両方でROUGEスコアが少なくとも2ポイント向上し、特に長いCNNデータセットでは最先端の性能を達成する。

ABSTRACT

A major proportion of a text summary includes important entities found in the original text. These entities build up the topic of the summary. Moreover, they hold commonsense information once they are linked to a knowledge base. Based on these observations, this paper investigates the usage of linked entities to guide the decoder of a neural text summarizer to generate concise and better summaries. To this end, we leverage on an off-the-shelf entity linking system (ELS) to extract linked entities and propose Entity2Topic (E2T), a module easily attachable to a sequence-to-sequence model that transforms a list of entities into a vector representation of the topic of the summary. Current available ELS's are still not sufficiently effective, possibly introducing unresolved ambiguities and irrelevant entities. We resolve the imperfections of the ELS by (a) encoding entities with selective disambiguation, and (b) pooling entity vectors using firm attention. By applying E2T to a simple sequence-to-sequence model with attention mechanism as base model, we see significant improvements of the performance in the Gigaword (sentence to title) and CNN (long document to multi-sentence highlights) summarization datasets by at least 2 ROUGE points.

研究の動機と目的

• 関連付いたエンティティから導出されたトピック表現をデコーダーにガイドすることで、抽象的要約の性能を向上させること。
• 既存のシステムにおけるノイズや曖昧なエンティティリンクの問題に対処するため、選択的意味解消を導入すること。
• ファームアテンションを用いてエンティティベクトルをプールすることで、要約におけるトピックモデリングを強化し、最も関連性の高いエンティティに焦点を当てる。
• 任意の序列モデルと互換性がある、プラグアンドプレイ可能なモジュール（E2T）を開発すること。

提案手法

• Wikipediaなどの知識ベースにエンティティをリンクするための、市販のエンティティリンクシステム（ELS）を用いて、入力テキストからエンティティを抽出する。
• 文脈に基づいて、どのエンティティが意味解消を必要とするかを判断する選択的意味解消ゲートを適用し、曖昧または不正確なリンクに起因するノイズを低減する。
• 各関連付いたエンティティを文脈的埋め込みモデルでエンコードし、密なベクトル表現を生成する。
• ファームアテンションを用いて、上位-k個の関連性の高いエンティティベクトルを1つの要約トピックベクトルにプールし、重要なエンティティに強調する。
• アテンション機構を備えた序列モデルにE2Tモジュールを統合し、デコード中にトピックベクトルをデコーダーに供給する。
• E2Tがデコーダーの注目を顕著なトピックに向けさせるように、標準的な序列モデルの目的関数を用いて、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 テキストから抽出された関連エンティティは、抽象的要約の主要トピックを効果的に示す指標として機能するか？
• RQ2 意味の曖昧さや不適切な関連性といった、既存のエンティティリンクシステムの欠陥を、どのように是正すれば要約品質を向上させられるか？
• RQ3 ファームアテンションを用いてエンティティから導出したトピックベクトルを用いることで、ソフトアテンションやエンティティガイドなしの手法に比べ、より簡潔かつ正確な要約が得られるか？
• RQ4 E2Tのようなプラグインモジュールは、アーキテクチャの大幅な見直しを伴わずに、標準的な抽象的要約ベンチマークでの性能を著しく向上させられるか？

主な発見

• アテンションを備えた基本的な序列モデルにE2Tモジュールを適用したところ、GigawordおよびCNNデータセットの両方でROUGEスコアが少なくとも2ポイント向上した。
• CNNデータセットでは、E2Tを強化したモデルが、すべての競合する最先端モデルを上回り、長文要約における優れた性能を示した。
• 選択的意味解消ゲートは、誤ったまたは曖昧なエンティティリンク（例：「United States」と「United States Davis Cup team」の区別）を効果的に特定・是正した。
• ファームアテンションは、低重要度のエンティティ（例：「Country club」、「UNK」）を効果的に除外し、関連性の高いエンティティに焦点を当てることができ、事実の整合性と要約の整合性を向上させた。
• 事例研究では、E2Tモデルが「グアダラハラはメキシコの州である」といった幻覚を回避し、上位-k個の関連性の高いエンティティにのみ注目することで、そのような誤りを防いでいた。
• 特に長文ドキュメントでは、ベースラインモデルが関連のないトピックに逸脱する傾向があるが、E2Tモデルはより簡潔でトピックに焦点を当てた要約を生成した。