[論文レビュー] Combining Word Embeddings and N-grams for Unsupervised Document Summarization

Zhuolin Jiang, Manaj Srivastava+3 more|arXiv (Cornell University)|Apr 25, 2020

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本稿では、事前学習された単語埋め込み（word2vec、BERT）とn-gram特徴量の融合を用いて文の類似度を向上させることで、グラフベースの部分的要約手法を改善する非教師付き抽出型文書要約手法を提案する。さらに、DUC04で最先端の性能を達成するTransformerベースの文要約モデルを導入し、教師なしでも優れた性能を発揮し、CNN/DMおよびNYTデータセットでは教師ありモデルと同等の性能を示す。

ABSTRACT

Graph-based extractive document summarization relies on the quality of the sentence similarity graph. Bag-of-words or tf-idf based sentence similarity uses exact word matching, but fails to measure the semantic similarity between individual words or to consider the semantic structure of sentences. In order to improve the similarity measure between sentences, we employ off-the-shelf deep embedding features and tf-idf features, and introduce a new text similarity metric. An improved sentence similarity graph is built and used in a submodular objective function for extractive summarization, which consists of a weighted coverage term and a diversity term. A Transformer based compression model is developed for sentence compression to aid in document summarization. Our summarization approach is extractive and unsupervised. Experiments demonstrate that our approach can outperform the tf-idf based approach and achieve state-of-the-art performance on the DUC04 dataset, and comparable performance to the fully supervised learning methods on the CNN/DM and NYT datasets.

研究の動機と目的

• 従来のtf-idfに代えて、深層的意味特徴を用いることで、グラフベースの抽出型要約における文の類似度測定を改善すること。
• 事前学習された単語埋め込み（word2vec、BERT）とn-gram特徴量を組み合わせることで、非教師付き要約におけるより良い意味的表現が得られることを調査すること。
• Transformerモデルを用いた文要約が抽出型要約性能に与える影響を評価すること。
• ラベル付き要約ペairを必要とせず、ベンチマークデータセットで最先端または競争力のある性能を達成すること。

提案手法

• tf-idfと事前学習済み単語埋め込み（word2vec、BERT）を融合した新しいメトリクスを用いて、文の類似度グラフを構築し、意味的類似度推定を向上させる。
• 重み付きカバレッジ項と多様性項を組み合わせたサブモジュラー目的関数を適用し、予算制約のもとで代表的で多様な文を選択する。
• 局所的近隣統計に基づく文のコスト正規化を伴うグリーディアルゴリズムを用いて、サブモジュラー目的関数を最大化する。
• GigawordおよびGoogle文要約データセットを用いて、入力文を要約するTransformerベースのモデルを学習し、要約の前処理として利用する。
• 文の類似度計算において、単語埋め込みとn-gram特徴量を後から融合する戦略を採用する。
• DUC04、CNN/DM、NYT50データセットでROUGEスコア（R-1、R-2、R-L）を用いて評価し、3文要約の予算を設定する。

実験結果

リサーチクエスチョン

• RQ1 市販の単語埋め込みとn-gram特徴量を組み合わせることで、非教師付き要約における文の類似度推定が向上するか？
• RQ2 深層的意味特徴（word2vec、BERT）とスパースなtf-idf特徴量を融合させることで、単体で使用する場合よりも優れた要約性能が得られるか？
• RQ3 Transformerベースの文要約モデルを適用することで、抽出型要約性能がどの程度向上するか？
• RQ4 教師なし要約システムは、CNN/DMおよびNYTデータセットで教師あり最先端手法と同等の性能を達成できるか？

主な発見

• word2vecとtf-idf特徴量を融合した本稿で提案するGraphFusion手法は、CNN/DMデータセットで39.0 R-1、16.8 R-2、32.0 R-L Fスコアを達成し、tf-idfおよび他の埋め込み特徴量のみを用いたベースラインを上回った。
• DUC04データセットでは、Gigawordに加えてGoogle文要約データセットを用いることで、すべての3つのROUGE指標（R-1、R-2、R-L）で1ポイントの絶対的向上を達成した。
• 単語埋め込みとn-gram特徴量を後から融合するLateFusionアプローチは、CNN/DMで最良の性能を示し、39.2 R-1、17.1 R-2、32.2 R-L Fスコアを達成した。
• Transformerベースの文要約モデルは、DUC04における要約性能を向上させ、ベースライン要約モデルと比較してROUGE-1、ROUGE-2、ROUGE-Lでほぼ2ポイントの絶対的向上を示した。
• 学習データを必要とせず教師なしであるにもかかわらず、PointerやRefreshといった教師ありモデルと同等の性能をCNN/DMおよびNYTデータセットで達成した。
• 文要約の適用はCNN/DMでは結果を向上させなかったが、固定された3文の要約予算下で情報損失が生じたことが原因と考えられ、DUC04では顕著な性能向上が見られた。