[論文レビュー] DivGraphPointer: A Graph Pointer Network for Extracting Diverse Keyphrases

Zhiqing Sun, Jian Tang+3 more|arXiv (Cornell University)|May 19, 2019

Advanced Text Analysis Techniques参考文献 48被引用数 6

ひとこと要約

本稿では、文書レベルの語の顕著性をモデル化するためのグラフ畳み込みネットワーク（GCNs）と、多様性のあるキーフレーズを生成する多様化ポインタネットワークを組み合わせたエンドツーエンドのグラフポインタネットワーク、DivGraphPointerを提案する。長距離依存関係を捉え、繰り返し出現する語を要約する単一のノードに集約する語のグラフを構築し、カバレッジアテンションと多様性損失を用いて冗長性を防止することで、5つのベンチマークデータセットにおいて最先端の性能を達成し、従来の教師ありおよび教師なし手法を顕著に上回った。

ABSTRACT

Keyphrase extraction from documents is useful to a variety of applications such as information retrieval and document summarization. This paper presents an end-to-end method called DivGraphPointer for extracting a set of diversified keyphrases from a document. DivGraphPointer combines the advantages of traditional graph-based ranking methods and recent neural network-based approaches. Specifically, given a document, a word graph is constructed from the document based on word proximity and is encoded with graph convolutional networks, which effectively capture document-level word salience by modeling long-range dependency between words in the document and aggregating multiple appearances of identical words into one node. Furthermore, we propose a diversified point network to generate a set of diverse keyphrases out of the word graph in the decoding process. Experimental results on five benchmark data sets show that our proposed method significantly outperforms the existing state-of-the-art approaches.

研究の動機と目的

• 既存のキーフレーズ抽出手法がヒューリスティクスに依存するか、文書レベルの語の顕著性と多様性を適切にモデル化できないという限界を解消すること。
• 長距離の語の依存関係を捉え、複数回出現する語を1つのノードに集約できる、エンドツーエンドで学習可能なモデルを開発すること。
• モデルが意味的に類似または冗長なフレーズを繰り返し選択するのを防ぐことで、多様なキーフレーズを生成すること。
• グラフベースのランク付けとニューラルシーケンス生成の長所を組み合わせることで、キーフレーズ抽出の性能を向上させること。

提案手法

• 語の距離に基づいてエッジを定義し、同一語を1つのノードに集約することで、入力文書から語のグラフを構築する。
• 語のグラフを符号化するためにグラフ畳み込みネットワーク（GCNs）を適用し、短距離および長距離の依存関係を捉え、複数回出現する語を顕著なノード表現に集約する。
• 語のグラフ上で動的にノードを選択し、自己回帰的にキーフレーズを形成する多様化ポインタネットワークデコーダーを用いる。
• 以前に注目した語を追跡し、生成されたキーフレーズの冗長性を低減するために、カバレッジアテンション機構を組み込む。
• キーフレーズ間のコサイン類似度の逆数に基づく多様性損失を導入し、意味的多様性を明示的に促進する。
• 生成されたキーフレーズの粒度を制御するために、デコード中に長さペナルティ係数を適用し、短いフレーズと長いフレーズのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 長距離依存関係を捉え、繰り返し出現する語を集約することで、グラフベースの符号化法が文書レベルの語の顕著性を効果的にモデル化できるか？
• RQ2 語のグラフ上でポインタネットワークを用いることで、高い文書適合性を維持しながら多様なキーフレーズを生成できるか？
• RQ3 カバレッジアテンションと多様性損失の組み合わせは、キーフレーズ生成における冗長性をどれほど効果的に低減できるか？
• RQ4 提案されたエンドツーエンドフレームワークは、教師ありおよび教師なしの最先端手法をすべて上回るか？

主な発見

• DivGraphPointerは、Krapivin、Inspec、その他の5つのベンチマークデータセットにおいて、既存の最先端の教師ありおよび教師なし手法を顕著に上回った。
• 多様性機構により、GraphPointerと比較して平均同一キーフレーズ共起率（AIC）が最大50％低下し、特に上位5つのキーフレーズで顕著な改善が見られた。
• 長さペナルティ係数は性能に強く影響を与え、Inspecでは0〜1、Krapivinでは1〜5の最適値が得られたことから、極端な正規化値は結果を劣化させることを示した。
• 事例研究では、DivGraphPointerはCopyRNN や GraphPointer よりもより意味的に多様なキーフレーズを生成し、冗長なフレーズが少なく、顕著な概念とよりよく一致していた。
• グラフベースのエンコーダーは語の関連性（例：「traffic」と「noise」が強く接続されている）を効果的に捉えており、序列ベースのモデルよりも正確なキーフレーズ選択が可能であった。
• 多様性機構を備えたモデル（DivGraphPointer-100）は、CopyRNN や GraphPointer-100 と比較して、類似度の高いキーフレーズがたった2つにまで減少した。これは、冗長性低減の強力な効果を示している。