[論文レビュー] Abstractive Summarization Using Attentive Neural Techniques

Jacob Krantz, Jugal Kalita|arXiv (Cornell University)|Oct 20, 2018

Topic Modeling参考文献 20被引用数 11

ひとこと要約

本稿では、再帰的構造や畳み込みを用いず、相対的なドット積自己注意機構を用いたトランスフォーマーに基づく抽象的要約モデルを提案する。このモデルは文単位の要約性能を向上させ、最先端の ROUGE-L および ROUGE-2 スコアを達成しており、先行研究を上回っている。また、ROUGE などの自動評価指標が抽象的要約に対して不十分であることが示され、新たな抽象的評価手法（VERT）の提案を促している。

ABSTRACT

In a world of proliferating data, the ability to rapidly summarize text is growing in importance. Automatic summarization of text can be thought of as a sequence to sequence problem. Another area of natural language processing that solves a sequence to sequence problem is machine translation, which is rapidly evolving due to the development of attention-based encoder-decoder networks. This work applies these modern techniques to abstractive summarization. We perform analysis on various attention mechanisms for summarization with the goal of developing an approach and architecture aimed at improving the state of the art. In particular, we modify and optimize a translation model with self-attention for generating abstractive sentence summaries. The effectiveness of this base model along with attention variants is compared and analyzed in the context of standardized evaluation sets and test metrics. However, we show that these metrics are limited in their ability to effectively score abstractive summaries, and propose a new approach based on the intuition that an abstractive model requires an abstractive evaluation.

研究の動機と目的

• 機械翻訳から得た最新の注目メカニズムを文書の序列変換タスクに適応させることで、抽象的文単位要約の性能を向上させること。
• 相対的ドット積、局所的、拡張（dilated）、マスク付きなど、さまざまな自己注意の変種が抽象的要約においてどのように性能を発揮するかを評価すること。
• ROUGE の n-gram に依存する性質ゆえに、抽象的要約の評価に不適切であることが示されたため、標準的な ROUGE 指標が抽象的要約の品質を適切に反映していないことの実証と、代替となる抽象的評価手法（VERT）の提案。
• 再帰的構造や畳み込みを一切使用しない完全な注目メカニズムに基づくモデルを訓練し、トレーニングコストを削減しながらも、高品質な抽象的出力を維持すること。
• 人的評価指標および定性的分析を通じて、生成された要約の言語的品質および一貫性を分析すること。

提案手法

• エンコーダ・デコーダフレームワークにおいて、再帰的構造や畳み込みを排除し、マルチヘッド自己注意機構を用いたトランスフォーマー・アーキテクチャを適応する。
• 長距離依存関係をモデル化し、入力および出力シーケンス全体の文脈を保持するために、相対的ドット積自己注意を採用する。
• 固定長の要約制約を導入し、重要な情報を優先的に抽出し、言い換え（paraphrasing）を促進する。
• トレーニングの安定化のため、バッチ正規化と残差接続を適用し、バッチサイズは 8192 トークン（メモリ負荷の高いバージョンではそれ以下）とする。
• 繰り返しの注意を回避するため、すでに注目された語に再び注目するのを制限するカバレッジ・ベクトルを導入する。
• 意味的類似性と構造的一貫性に基づく VERT（抽象的評価指標）を提案し、n-gram に基づく ROUGE とは対照的である。

実験結果

リサーチクエスチョン

• RQ1 相対的ドット積、局所的、拡張（dilated）、マスク付きなど、さまざまな自己注意メカニズムが、抽象的文単位要約においてどのように性能を発揮するか？
• RQ2 再帰的構造や畳み込みを一切含まない非再帰的・注目のみのモデルが、既存の最先端の抽象的要約モデルを上回ることができるか？
• RQ3 標準的な ROUGE 指標が、意味的一貫性や言い換えの観点から抽象的要約の品質をどれほど正確に反映しているか？
• RQ4 モデルが長距離依存関係を適切にモデル化できるようになることで、要約の品質および情報量にどのような影響を与えるか？
• RQ5 n-gram に基づく指標（例：ROUGE）と比較して、抽象的評価指標（VERT）が抽象的要約の品質をより適切に捉えられるか？

主な発見

• 相対的ドット積自己注意モデル（S-ATT-REL）は、全テストモデルの中で最高の ROUGE-L および ROUGE-2 スコアを達成し、ベースラインモデルおよび多数の先行研究を上回った。
• S-ATT-REL は、DUC2003 における ROUGE-L および ROUGE-2 で ABS モデルを上回ったが、ROUGE-1 スコアは抽出的チューニング済みの ABS+ モデルよりわずかに低かった。
• 生成された要約は高い言語的品質を示した：文法的整合性（4.48）、冗長性の低さ（4.95）、参照的明確性（4.7）、構造および一貫性（4.53）はいずれも「良い」から「非常に良い」の評価を得た。
• モデルは強力な抽象的生成能力を示し、例えばハリリがレバノンの首相であることを正しく特定し、明示的に述べられていなくても「辞任」を「辞退する」という表現から推論できた。
• 一部の注意ヘッドは誤って注目する場合があり、例 S3 では「not」に誤って注目するなど、注意の正確性に限界が見られた。
• VERT 指標は、特に意味的類似性サブスコアにおいて、S-ATT-REL モデルに対して ROUGE より高いスコアを示した。これは、抽象的要約に対しては抽象的評価がより適切である可能性を示唆している。