[論文レビュー] HipoRank: Incorporating Hierarchical and Positional Information into Graph-based Unsupervised Long Document Extractive Summarization

Yue Dong, Andrei Romascanu+1 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 45被引用数 10

ひとこと要約

HipoRankは、話法構造からの階層的および位置的情報を統合することで文書表現を向上させ、文のグラフに方向性と階層性を導入する、グラフベースの教師なし抽出的要約モデルを提案する。本モデルは、長文書要約において最先端の性能を達成し、強力な教師なしベースラインを上回り、PubMedおよびarXivデータセットにおいて教師ありモデルと同等の性能を示す。

ABSTRACT

We propose a novel graph-based ranking model for unsupervised extractive summarization of long documents. Graph-based ranking models typically represent documents as undirected fully-connected graphs, where a node is a sentence, an edge is weighted based on sentence-pair similarity, and sentence importance is measured via node centrality. Our method leverages positional and hierarchical information grounded in discourse structure to augment a document's graph representation with hierarchy and directionality. Experimental results on PubMed and arXiv datasets show that our approach outperforms strong unsupervised baselines by wide margins and performs comparably to some of the state-of-the-art supervised models that are trained on hundreds of thousands of examples. In addition, we find that our method provides comparable improvements with various distributional sentence representations; including BERT and RoBERTa models fine-tuned on sentence similarity.

研究の動機と目的

• 話法レベルの階層的および位置的情報を統合することで、長文書の教師なし抽出的要約を向上させること。
• 標準的な完全接続で無向のグラフを超えて、方向性と構造的階層性を導入することで、グラフベースのランク付けモデルを強化すること。
• 大規模なアノテート済みトレーニングデータを必要とせずに、教師ありモデルと同等の性能を達成すること。
• BERTやRoBERTaを含むさまざまな文書表現モデルに対して、堅牢性を確保すること。

提案手法

• 本手法は、文をノードとし、文対間の類似度をエッジとする有向で階層的なグラフを構築する。方向性は話法構造から得られる。
• 階層的関係は、セクションや段落などの話法レベルに文を整理することでモデル化され、グラフ構築の指針とする。
• 位置バイアスは、顕著な位置（例：セクションの冒頭や終り）にある文に高い初期中央性スコアを割り当てることで組み込まれる。
• 有向で階層的なグラフ構造を尊重するように変更されたPageRankアルゴリズムを用いてノードの重要度を計算する。
• 事前学習済みモデル（例：BERTやRoBERTa）の文埋め込みを用い、文類似度に最適化された微調整を経て、エンドツーエンドでモデルを訓練する。
• 最終的な要約は、中央性スコアが上位の文を選び出すことで生成される。

実験結果

リサーチクエスチョン

• RQ1 話法の階層性と文の位置を統合することで、教師なし長文書要約の性能が向上するか？
• RQ2 HipoRankは、長編科学的文書において、強力な教師なしベースラインと比較してどうなるか？
• RQ3 大規模なアノテート済みデータを必要とせずに、HipoRankが教師ありモデルの性能にどの程度近づけるか？
• RQ4 本手法は、BERTやRoBERTaを含むさまざまな文書表現モデルに一般化可能か？

主な発見

• HipoRankは、PubMedおよびarXivデータセットの両方で、ROUGE-1、ROUGE-2、ROUGE-Lの指標において、強力な教師なしベースラインを顕著に上回る。
• 本モデルは、数十万件のアノテート済み例で学習された最先端の教師ありモデルと同等の性能を達成する。
• 文類似度に最適化された微調整を施したBERTやRoBERTaを含む、さまざまな文書表現モデルにおいて、一貫した改善効果を示す。
• 階層的および位置的情報を統合することで、特に長く構造化された文書において、より一貫性があり文脈的に関連性の高い要約が得られる。