[論文レビュー] An Integrated Approach for Keyphrase Generation via Exploring the Power of Retrieval and Extraction

Wang Chen, Hou Pong Chan+3 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Text Analysis Techniques参考文献 36被引用数 5

ひとこと要約

本稿では、マルチタスク学習を介して抽出的・生成的・リtrievalベースの手法を統合するキーフレーズ生成フレームワークを提案する。抽出モデルを用いて生成モデルのコピーメカニズムを最適化し、外部知識として類似文書を検索することで、キーフレーズ予測を向上させる。全ソースからの出力を再ランク付けするニューラル統合モジュールを導入し、5つのベンチマークで最先端の性能を達成。KrapivinではF1@10スコアが最大0.250に達した。

ABSTRACT

In this paper, we present a novel integrated approach for keyphrase generation (KG). Unlike previous works which are purely extractive or generative, we first propose a new multi-task learning framework that jointly learns an extractive model and a generative model. Besides extracting keyphrases, the output of the extractive model is also employed to rectify the copy probability distribution of the generative model, such that the generative model can better identify important contents from the given document. Moreover, we retrieve similar documents with the given document from training data and use their associated keyphrases as external knowledge for the generative model to produce more accurate keyphrases. For further exploiting the power of extraction and retrieval, we propose a neural-based merging module to combine and re-rank the predicted keyphrases from the enhanced generative model, the extractive model, and the retrieved keyphrases. Experiments on the five KG benchmarks demonstrate that our integrated approach outperforms the state-of-the-art methods.

研究の動機と目的

• 純粋な抽出的または生成的キーフレーズ生成手法の限界を解消する。これらは欠落したキーフレーズを捉えられず、グローバルな文脈を欠く。
• 学習データから類似文書を検索し、外部知識を統合することでキーフレーズ生成を改善する。
• 抽出モデルから得られる静的重要度スコアを用いて、生成モデルのコピーメカニズムを強化し、顕著なコンテンツをより適切に特定する。
• 抽出、生成、リtrievalの出力を学習可能な統合モジュールで統合し、最終的なランク付けを実現する包括的フレームワークを構築する。
• 包括的なアブレーションと評価を通じて、複数のベンチマークでキーフレーズ生成分野における新基準を確立する。

提案手法

• 抽出的シーケンスラベルリングモデルとコピーメカニズムを備えた生成的シーケンス・トゥ・シーケンスモデルを同時に学習するマルチタスク学習フレームワークを提案する。
• 抽出モデルの出力（単語レベルの重要度スコア）を用いて、生成モデルにおけるコピーモデルの確率分布を動的に再スケーリングし、重要語に注目する注意力を向上させる。
• 意味的類似性を用いて学習データ内から類似文書を検索するドキュメントリtrievalモジュールを実装し、そのキーフレーズを生成デコーダーの外部メモリとして活用する。
• 抽出されたキーフレーズ、強化された生成出力、および取得されたキーフレーズの3つのソースからキーフレーズ候補を集めるニューラル統合モジュールを設計する。
• 生成、抽出、リtrievalスコアの特徴を用いて、スコアリングネットワークを統合モジュール内に学習させ、エンド・トゥ・エンド最適化を可能にする。
• すべてのモジュールを統合した単一の統合アーキテクチャを構築し、より高いロバスト性とカバレッジを実現する共同最適化と推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 抽出的および生成的キーフレーズモデルをどのように共同最適化することで、存在するキーフレーズと存在しないキーフレーズの両方の予測を向上させられるか？
• RQ2 類似文書から取得したキーフレーズを外部知識として統合することで、キーフレーズ生成の性能にどのような影響を与えるか？
• RQ3 学習可能な統合モジュールを介して抽出・生成・リtrievalの予測を統合することで、最終的なキーフレーズランク付けと全体的な性能にどのような影響を与えるか？
• RQ4 抽出モデルから得られる静的重要度スコアは、ニューラル生成モデルのコピーメカニズムを改善できるか？
• RQ5 抽出、リtrieval、生成の各コンポーネントが、最終的なキーフレーズ予測品質に果たす相対的寄与度はどの程度か？

主な発見

• 統合手法はKrapivinベンチマークでF1@10スコア0.250という新記録を達成し、既存手法を上回った。
• 取得されたキーフレーズを統合することで、存在するキーフレーズと存在しないキーフレーズの両方の予測が向上し、欠落キーフレーズのリCALL（R@10）はリtrievalを組み込むことで0.166から0.172に上昇した。
• 統合モジュールの導入により性能が顕著に向上し、最良のベースラインからF1@10が0.002向上した。
• 統合モジュール内のスコアリングネットワークを削除すると性能が低下し、F1@10は0.248に低下した。これによりスコアリングネットワークが効果的な候補再ランク付けに不可欠であることが証明された。
• リtrieval・抽出・生成スコアを除き、スコアリングネットワークのみを用いた場合、性能は急激に低下（F1@10 = 0.210）し、マルチソース統合の必要性が示された。
• アブレーションスタディにより、リtrievalと抽出コンポーネントがそれぞれ独自に寄与していることが確認された。抽出は存在するキーフレーズの予測を向上させ、リtrievalは欠落キーフレーズの検出を強化した。