[論文レビュー] Efficient and Effective Single-Document Summarizations and A Word-Embedding Measurement of Quality

Liqun Shao, Hao Zhang+2 more|arXiv (Cornell University)|Oct 1, 2017

Advanced Text Analysis Techniques参考文献 26被引用数 4

ひとこと要約

本稿では、ソフトプラス関数を用いた強化されたキーワードランク付けとトピッククラスタリングを組み合わせた、効率的でリアルタイム対応の教師なし単一ドキュメント要約アルゴリズムを提案する。DUC-02で最先端のROUGEリCALLスコアを達成した。また、ワード埋め込みに基づく類似度測定法であるWESM（Word-Embedding Similarity Measure）を導入した。WESMはワードムーバーズ・ディスタンスを用い、人間の評価（ROUGE）と強く相関しており、人間基準が不要な信頼できる自動要約品質評価を可能にする。

ABSTRACT

Our task is to generate an effective summary for a given document with specific realtime requirements. We use the softplus function to enhance keyword rankings to favor important sentences, based on which we present a number of summarization algorithms using various keyword extraction and topic clustering methods. We show that our algorithms meet the realtime requirements and yield the best ROUGE recall scores on DUC-02 over all previously-known algorithms. We show that our algorithms meet the realtime requirements and yield the best ROUGE recall scores on DUC-02 over all previously-known algorithms. To evaluate the quality of summaries without human-generated benchmarks, we define a measure called WESM based on word-embedding using Word Mover's Distance. We show that the orderings of the ROUGE and WESM scores of our algorithms are highly comparable, suggesting that WESM may serve as a viable alternative for measuring the quality of a summary.

研究の動機と目的

• 10,000語までのドキュメントに対して厳密な遅延制約を満たすリアルタイムで、教師なしの要約アルゴリズムを開発すること。
• ソフトプラス関数によるキーワード重要度の強化とトピッククラスタリングの統合により、要約の品質を向上させること。
• 要約品質の評価に人間アノテーションベンチマークを代替する信頼性の高い自動手法を構築すること。
• WESM（ワードムーバーズ・ディスタンスとワード埋め込みに基づく）がROUGEスコアと強く相関することを検証し、人間評価の代替として有効であることを確認すること。

提案手法

• キーワードスコアにソフトプラス関数を適用し、高ランクキーワードの重要度を強化することで、文選択の精度を向上させる。
• TextTilingおよびLDAを用いたトピッククラスタリングを統合し、要約における多様で代表的なトピックカバレッジを確保する。
• RAKE、TextRank、TF-IDFなどのさまざまなキーワード抽出手法を、ソフトプラス強化ランク付けと組み合わせ、複数の要約アルゴリズムに適用する。
• ワードムーバーズ・ディスタンスを用いて、要約文と元のドキュメント間の意味的類似度を測定するWESM（ワード埋め込み類似度測定）を開発する。
• DUC-02およびNewsIR-16で、WESMの順位とROUGEリCALLスコアを比較し、人間評価との中での相関性を検証する。
• すべてのアルゴリズムをPythonで実装・ベンチマーク化し、ドキュメントサイズに応じた実行時間を測定することで、リアルタイム性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 ソフトプラス強化キーワードランク付けとトピッククラスタリングを用いた要約アルゴリズムは、リアルタイム性能制約を満たしつつ、最先端のROUGEリCALLスコアを達成できるか？
• RQ2 ワード埋め込みとワードムーバーズ・ディスタンスに基づくWESMは、人間アノテートROUGEスコアと類似した要約品質順位を生成するか？
• RQ3 RAKE や TextRank などの異なるキーワード抽出手法をソフトプラスおよびトピッククラスタリングと組み合わせた場合、ROUGEスコアおよび実行時間の観点でどの程度の性能を示すか？
• RQ4 WESMは、DUC-02 や NewsIR-16 といった異なるデータセットにおいて、アルゴリズムの性能順序を一貫して維持できるか？

主な発見

• ET3Rankは、これまでに知られていたすべてのアルゴリズムの中でDUC-02で最高のROUGEリCALLスコアを達成し、最良の性能を示した。
• WESMはDUC-02においてROUGE順位から正規化L1ノルム距離が1/6の差にとどまり、強い相関性と高い類似性を示した。
• ET3Rankの実行時間は、3,000語未満のドキュメントでは0.5秒未塔、5,500語では1秒未塔、10,000語では2.75秒未塔であり、リアルタイム要件を満たした。
• ESRAKEおよびPRAKEは、ほぼ線形的かつ極めて高速な実行時間性能を示し、高スループット応用に適していた。
• LDAベースのアルゴリズム（例：LDARAKE）は著しく高い実行時間（10,000語ドキュメントで79秒）を示し、リアルタイム用途には不適切であった。
• DUC-02およびNewsIR-16の両データセットにおいて、WESMとROUGEのアルゴリズム性能順序が極めて一致しており、WESMが信頼できる評価指標であることが確認された。