[論文レビュー] Keyphrase Generation with Correlation Constraints

Jun Chen, Xiaoming Zhang+3 more|arXiv (Cornell University)|Aug 22, 2018

Advanced Text Analysis Techniques参考文献 29被引用数 8

ひとこと要約

本稿では、一連のキーフレーズ間の相関関係を明示的にモデル化するCorrRNNを提案する。coverageメカニズムによりトピックカバレッジを向上させ、リビュー機構により重複を低減する。一対多のキーフレーズ関係をエンド・ツー・エンドで学習することで、ベンチマークデータセット上での精度と多様性の両面で、最先端の手法を顕著に上回る性能を発揮する。

ABSTRACT

In this paper, we study automatic keyphrase generation. Although conventional approaches to this task show promising results, they neglect correlation among keyphrases, resulting in duplication and coverage issues. To solve these problems, we propose a new sequence-to-sequence architecture for keyphrase generation named CorrRNN, which captures correlation among multiple keyphrases in two ways. First, we employ a coverage vector to indicate whether the word in the source document has been summarized by previous phrases to improve the coverage for keyphrases. Second, preceding phrases are taken into account to eliminate duplicate phrases and improve result coherence. Experiment results show that our model significantly outperforms the state-of-the-art method on benchmark datasets in terms of both accuracy and diversity.

研究の動機と目的

• キーフレーズ間の相関関係を無視することで生じる重複とカバレッジの問題を解消すること。
• ドキュメントとその複数のキーフレーズの間の一対多の関係を、シーケンス・ツー・シーケンスフレームワーク内でモデル化すること。
• 相関制約のエンド・ツー・エンド学習を通じて、ドキュメントトピックのカバレッジと生成されたキーフレーズの多様性を向上させること。
• ヒューリスティックルールや先行のSeq2Seqモデルを上回る、正確で重複のないキーフレーズを生成すること。

提案手法

• 以前に生成されたキーフレーズがドキュメントのどの語を要約したかを追跡するcoverageベクトルを導入し、トピックカバレッジを向上させる。
• 以前に生成されたキーフレーズをデコーダーの隠れ状態に組み込むリビュー機構を採用し、繰り返しを防ぐ。
• 既に生成されたキーフレーズと次に生成するフレーズの間の相関関係を明示的にモデル化する、新しいアテンション機構を標準Seq2Seqアーキテクチャに拡張する。
• 希少語や未知語の語彙外の語を保持するためのコピーメカニズムを用い、元のドキュメントに明示的に存在しないキーフレーズの生成を保証する。
• 一貫性、カバレッジ、多様性のバランスを取るために、coverageとreviewメカニズムを1つのRNNベースのデコーダーに統合する。
• ドキュメント-キーフレーズペア上でエンド・ツー・エンドに学習し、データから直接相関制約を学習する。

実験結果

リサーチクエスチョン

• RQ1 複数のキーフレーズ間の相関関係をモデル化することで、キーフレーズ生成におけるカバレッジ向上と重複低減が可能になるか？
• RQ2 要約済みの内容を追跡するcoverageメカニズムを組み込むことで、生成されたキーフレーズのトピックカバレッジにどのような影響を与えるか？
• RQ3 デコーディングプロセスにおいて以前に生成されたキーフレーズを考慮することで、どの程度冗長性が低減されるか？
• RQ4 相関制約のエンド・ツー・エンド学習は、ヒューリスティックな後処理ルールに比べて、キーフレーズの多様性と正確性の向上に優れているか？

主な発見

• CorrRNNは、ベンチマークデータセット上でのキーフレーズの正確性と多様性において、最先端のCopyRNNモデルを顕著に上回る性能を発揮する。
• ケーススタディでは、CorrRNNはCopyRNNに比べて、存在するキーフレーズを1つ多く生成し、存在しないキーフレーズを1つ多く生成することで、トピックカバレッジを向上させる。
• CorrRNNは、CopyRNNが4つの「conferencing」フレーズを生成するのに対し、2つのみを生成することで重複を低減し、結果の整合性を向上させる。
• パラメータ数が多め（94.9M）であるにもかかわらず、収束が早く、より高い性能を達成しており、訓練効率の向上を示している。
• 実験結果から、相関制約のエンド・ツー・エンド学習は、ヒューリスティックルールに比べて多様性と正確性の向上にさらに効果的であることが確認された。