[論文レビュー] Hierarchical Transformers for Multi-Document Summarization

Yang Liu, Mirella Lapata|arXiv (Cornell University)|May 30, 2019

Topic Modeling参考文献 39被引用数 34

ひとこと要約

本論文は、局所的およびグローバルな注意機構を用いて複数の入力文書をエンコードする階層型トランスフォーマーを提案し、任意でグラフ情報に基づく注意を取り入れて、WikiSum上で要約生成（抽象的多文書要約）を行い、強力なベースラインを上回る。

ABSTRACT

In this paper, we develop a neural summarization model which can effectively process multiple input documents and distill Transformer architecture with the ability to encode documents in a hierarchical manner. We represent cross-document relationships via an attention mechanism which allows to share information as opposed to simply concatenating text spans and processing them as a flat sequence. Our model learns latent dependencies among textual units, but can also take advantage of explicit graph representations focusing on similarity or discourse relations. Empirical results on the WikiSum dataset demonstrate that the proposed architecture brings substantial improvements over several strong baselines.

研究の動機と目的

• 入力文書のクラスターから抽象的要約を生成できるニューラルモデルを開発する。
• 平坦な連結を超えた文書間の関係を捉え、複数文書入力の課題に対処する。
• 階層的エンコーディングとグラフベースの信号を活用して、WikiSum上の要約品質を向上させる。
• 文書ランキングとグラフ情報を用いた注意が性能を改善するかどうかを評価する。

提案手法

• 階層的エンコーディングを備えたTransformerを拡張する: ローカル段落レベルのエンコーダとグローバルな段落間注意機構。
• 固定長の段落表現を得るためのマルチヘッド段落プーリングを導入する。
• 文書間で情報を共有するために段落間注意を組み込む。
• 注意を導くためのインターパラグラフ注意ヘッドを、グラフ行列（語彙ベースまたは談話ベース）に置換するオプションを提供する。
• ROUGE-2を監督信号として用いる学習ベースの段落ランキングモジュールで入力段落をランク付けする。
• 最大尤度で訓練し、ビームサーチと長さペナルティでデコードする。
• Lead、LexRank、Flat Transformer系、そしてTransformerベースのベースライン（T-DMCA）と比較する。
• WikiSum上でROUGE-F1指標を用いて評価し、人間評価（QAベースおよびBest-Worstスケーリング）を実施する。

実験結果

リサーチクエスチョン

• RQ1 複数文書の階層的エンコーディングは、平坦な連結に比べて抽象的要約を改善できるか？
• RQ2 段落間注意およびグラフ情報を用いた注意は要約品質を改善するか？
• RQ3 tf-idf類似度ランキングと比較して、学習ベースの段落ランキングは性能を向上させるか？
• RQ4 テスト時の長い入力が階層型モデルに与える影響はどの程度か？
• RQ5 マルチドキュメントの抽象的要約における人間評価と自動指標の比較はどうなるか？

主な発見

モデル	ROUGE-1	ROUGE-2	ROUGE-L
Lead	38.22	16.85	26.89
LexRank	36.12	11.67	22.52
FT (600 tokens, no ranking)	35.46	20.26	30.65
FT (600 tokens)	40.46	25.26	34.65
FT (800 tokens)	40.56	25.35	34.73
FT (1,200 tokens)	39.55	24.63	33.99
T-DMCA (3000 tokens)	40.77	25.60	34.90
HT (1,600 tokens)	40.82	25.99	35.08
HT w/o PP	40.21	24.54	34.71
HT w/o MP	39.90	24.34	34.61
HT w/o GT	39.01	22.97	33.76

• Hierarchical Transformer (HT) は WikiSum において ROUGE-1、ROUGE-2、および ROUGE-L の全てで強力なベースラインを上回る。
• より長い入力（約1,600トークン）を取り込むと HT の性能が向上し、テスト時の長い入力（3,000トークン）は結果をさらに改善する。
• グラフ情報付き注意（談話グラフ）は HT の ROUGE-L を約0.16ポイント向上させる。
• 学習ベースの段落ランキングは入力選択を改善し、tf-idf類似度ランキングよりROUGE-L再現率を高くする。
• アブレーション分析では、段落の位置、マルチヘッドプーリング、およびグローバルトランスフォーマー層のそれぞれが性能向上に寄与する。
• 人間評価は HT が Lead、FT、T-DMCA より優れており、統計的に有意な差がある。