[論文レビュー] Deep Keyphrase Generation

Rui Meng, Sanqiang Zhao+4 more|arXiv (Cornell University)|Apr 23, 2017

Advanced Text Analysis Techniques参考文献 43被引用数 8

ひとこと要約

本稿では、語彙のコピー機構を備えたRNNエンコーダデコーダフレームワークを用いた深層学習ベースの生成モデルを提案する。このモデルは、意味的意味と文法的手がかりを捉えることで、入力文中に存在しないキーフレーズも生成可能であり、6つのデータセットで、特に存在しないキーフレーズのうち最大20%を回収するという顕著な性能向上を達成している。

ABSTRACT

Keyphrase provides highly-condensed information that can be effectively used for understanding, organizing and retrieving text content. Though previous studies have provided many workable solutions for automated keyphrase extraction, they commonly divided the to-be-summarized content into multiple text chunks, then ranked and selected the most meaningful ones. These approaches could neither identify keyphrases that do not appear in the text, nor capture the real semantic meaning behind the text. We propose a generative model for keyphrase prediction with an encoder-decoder framework, which can effectively overcome the above drawbacks. We name it as deep keyphrase generation since it attempts to capture the deep semantic meaning of the content with a deep learning method. Empirical analysis on six datasets demonstrates that our proposed model not only achieves a significant performance boost on extracting keyphrases that appear in the source text, but also can generate absent keyphrases based on the semantic meaning of the text. Code and dataset are available at https://github.com/memray/OpenNMT-kpg-release.

研究の動機と目的

• 既存のキーフレーズ抽出手法が入力文中に存在する語句に限定され、意味的に関連する存在しないキーフレーズを生成できないという限界を是正すること。
• ニューラルエンコーダデコーダフレームワークを用いて、テキストの深い意味的理解をモデル化することで、キーフレーズ予測を改善すること。
• 重要な入力内語句を保持しつつ、新規で意味的に関連するキーフレーズを生成できるように、コピー機構を統合すること。
• 微調整なしで、科学的論文やニュース記事を含む多様なドメインに一般化できる能力をモデルが有しているかを評価すること。
• 従来の手法に欠如していた、存在しないキーフレーズのうち最大20%を回収できる能力を実証すること。

提案手法

• 入力テキスト（要約）をキーフレーズのシーケンスにマッピングするため、シーケンス・ツー・シーケンスRNNエンコーダデコーダアーキテクチャを用いる。
• デコーダが入力シーケンスからの部分語または語句を直接コピーできるように、コピー機構を採用することで、希少語や未知語を保持する。
• 正解ラベルに基づいてキーフレーズ生成を最適化するため、クロスエントロピー損失を用いてモデルをエンド・ツー・エンドで学習する。
• エンコーダの隠れ状態とデコーダの出力をアライメントさせるために、アテンション機構を活用し、文脈認識能力を向上させる。
• 推論時にビームサーチを適用して、上位k個のキーフレーズ候補を生成する。
• 複数の科学的論文データセットで、事前学習済み単語埋め込みを用い、モデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル生成モデルは、ソーステキストに明示的に存在しないキーフレーズを効果的に予測できるか？
• RQ2 コピー機構は、希少語や未知語のキーフレーズを生成する能力をどの程度向上させるか？
• RQ3 微調整なしで、ニュース記事のようなドメイン外テキストに対してもモデルは一般化できるか？
• RQ4 F1スコアの観点から、従来の非教師ありおよび教師ありベースラインと比較して、存在するキーフレーズおよび存在しないキーフレーズの両方で、モデルの性能はどの程度優れているか？
• RQ5 モデルは、表面的な語の共起パターンを越えて、意味的意味をどの程度捉えられるか？

主な発見

• 提案されたCopyRNNモデルは、6つのベンチマークデータセットにおいて、存在するキーフレーズおよび存在しないキーフレーズの両方でF1スコアに顕著な向上を達成した。
• モデルは、入力テキストに存在しないキーフレーズのうち最大20%を正しく回収でき、入力にないが意味的に関連する語句を生成できる能力を示している。
• DUC-2001ニュースデータセットでは、CopyRNNはF1@10スコア0.165を達成し、TextRank（0.097）とKeyCluster（0.140）を上回り、微調整なしでTf-Idf（0.270）に近い性能を示した。
• 未知語を含むキーフレーズの14.3%を正しく予測した。これは、希少語や未学習語に対しても強い一般化能力を有していることを示している。
• コピー機構により、重要な入力内語句を保持しつつ、同時に文脈的に関連する新規キーフレーズを生成できる。
• 実験的結果から、微調整なしに科学的論文からニュース記事にまでモデルが適応可能であることが示された。