[論文レビュー] SuperPAL: Supervised Proposition ALignment for Multi-Document Summarization and Derivative Sub-Tasks.

Ori Ernst, Ori Shapira+5 more|arXiv (Cornell University)|Sep 1, 2020

Topic Modeling参考文献 43被引用数 6

ひとこと要約

この論文では、複数文書要約（MDS）のサブタスク用に高品質な訓練データを生成するための教師あり命題アラインメントフレームワーク、SuperPALを紹介する。新たに構築された大規模なデータセット上で高精度なアラインヤーを訓練することで、SuperPALは参照要約の整合性を向上させ、既存の要約モデルに統合された際にはROUGEスコアを向上させる。また、任意の要約コーパスから自動的に重要度、クラスタリング、生成用のデータセットを導出可能である。

ABSTRACT

Multi-document summarization (MDS) is a challenging task, often decomposed to subtasks of salience and redundancy detection, followed by generation. While alignment of spans between reference summaries and source documents has been leveraged for training component tasks, the underlying alignment step was never independently addressed or evaluated. We advocate developing high quality source-reference alignment algorithms, that can be applied to recent large-scale datasets to obtain useful silver, i.e. approximate, training data. As a first step, we present an annotation methodology by which we create gold standard development and test sets for summary-source alignment, and suggest its utility for tuning and evaluating effective alignment algorithms, as well as for properly evaluating MDS subtasks. Second, we introduce a new large-scale alignment dataset for training, with which an automatic alignment model was trained. This aligner achieves higher coherency with the reference summary than previous aligners used for summarization, and gets significantly higher ROUGE results when replacing a simpler aligner in a competitive summarization model. Finally, we release three additional datasets (for salience, clustering and generation), naturally derived from our alignment datasets. Furthermore, these datasets can be derived from any summarization dataset automatically after extracting alignments with our trained aligner. Hence, they can be utilized for training summarization sub-tasks.

研究の動機と目的

• 複数文書要約（MDS）のサブタスク用に高品質なソース-リファレンスアラインメントアルゴリズムを開発すること。
• アラインメントアルゴリズムおよびMDSサブタスクの評価のためのゴールドスタンダードの開発およびテストセットを作成すること。
• 整合性と効果性において先行手法を上回る大規模な自動アラインヤーを訓練すること。
• アラインメントデータから自動的に追加の下流データセット（重要度、クラスタリング、生成）を生成すること。
• 訓練済みアラインヤーを用いて、任意の要約コーパスからタスク固有のデータセットを自動で導出可能にする仕組みを提供すること。

提案手法

• 要約-ソースアラインメントのゴールドスタンダード開発およびテストセットを生成するための新しいアノテーション手法を提案する。
• 新たに構築された大規模なアラインメントデータセット上で教師ありニューラルアラインヤーを訓練し、アラインメント品質を向上させる。
• 訓練済みアラインヤーを用いて、ソースドキュメントおよびリファレンス要約からアラインメントを自動抽出する。
• 抽出されたアラインメントを活用して、新たに3つのデータセット（重要度、クラスタリング、生成）を導出する。
• 訓練済みアラインヤーを既存の競争力のある要約モデルに統合し、パフォーマンス向上を評価する。
• 参照要約との整合性および下流のROUGEスコアを用いて、アラインメント品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 教師あり命題アラインメントモデルは、先行のアラインヤーと比較して、参照要約との整合性をより高めることができるか？
• RQ2 提案されたアラインヤーを用いることで、競争力のある要約モデルにおけるROUGEスコアはどの程度向上するか？
• RQ3 高品質なアラインメントデータを用いて、重要度、クラスタリング、生成のための信頼性の高い下流データセットを自動で生成可能か？
• RQ4 提案されたアノテーション手法は、信頼性の高いゴールドスタンダードアラインメントセットを効果的に作成できるか？
• RQ5 訓練済みアラインヤーは、異なる要約コーパスに一般化可能であり、タスク固有のデータを導出可能か？

主な発見

• 提案されたアラインヤーは、要約パフォーマンス向上のためのアラインメント品質を向上させる。
• 競争力のある要約システムにおいて、単純なアラインヤーをSuperPALモデルに置き換えることで、ROUGEスコアが顕著に向上する。
• アノテーション手法を用いて作成されたゴールドスタンダード開発およびテストセットは、アラインメントアルゴリズムのチューニングおよび評価に有効である。
• 訓練済みアラインヤーを用いることで、任意の要約コーパスから高品質な重要度、クラスタリング、生成用データセットを自動で導出可能である。
• 導出されたデータセットは、MDSサブタスクの訓練および評価に適しており、エンドツーエンドの要約パフォーマンスを向上させる。
• アラインメントフレームワークは汎用的であり、任意の既存の要約コーパスに適用可能で、タスク固有の訓練データを生成可能である。