[論文レビュー] Generating Diverse Numbers of Diverse Keyphrases.

Xingdi Yuan, Tong Wang+4 more|arXiv (Cornell University)|Oct 11, 2018

Advanced Text Analysis Techniques参考文献 32被引用数 14

ひとこと要約

本論文では、順次生成中に多様性を向上させる専用モジュールを組み込むことで、テキストから多様で可変長のキーフレーズ集合を生成する再帰的生成モデルを提案する。StackExchange および TextWorld ACG の2つの新しいデータセットも含む3つのデータセットで評価された結果、標準的および提案された可変長評価指標の両方において、ベースラインを上回り、固定出力長制約なしに文脈的に適切で多様なキーフレーズを生成する優れた性能を示した。

ABSTRACT

Existing keyphrase generation studies suffer from the problems of generating duplicate phrases and deficient evaluation based on a fixed number of predicted phrases. We propose a recurrent generative model that generates multiple keyphrases sequentially from a text, with specific modules that promote generation diversity. We further propose two new metrics that consider a variable number of phrases. With both existing and proposed evaluation setups, our model demonstrates superior performance to baselines on three types of keyphrase generation datasets, including two newly introduced in this work: StackExchange and TextWorld ACG. In contrast to previous keyphrase generation approaches, our model generates sets of diverse keyphrases of a variable number.

研究の動機と目的

• 既存のキーフレーズ生成モデルが重複するフレーズを生成し、固定長出力評価に依存するという限界を是正すること。
• 出力数を可変として扱える多様なキーフレーズ集合を生成可能な生成モデルを開発すること。
• 可変長キーフレーズ集合を考慮した新たな評価指標を提案し、固定長ベンチマークを超えるより良い評価を可能にすること。
• 既存および新たに導入されたデータセット（StackExchange および TextWorld ACG）を用いてモデルを評価し、その頑健性と一般化性能を示すこと。

提案手法

• キーフレーズを逐次的に生成する再帰的ニューラルネットワークアーキテクチャを用い、生成されるフレーズ数を動的に制御可能にする。
• 生成されたキーフレーズ間の多様性を能動的に促進するための特定モジュールをモデルに統合する。
• 入力テキストの関連部分に注目できるアテンション機構を備えたエンティティ・トゥ・エンティティフレームワークを用いて、エンド・トゥ・エンドでモデルを学習する。
• 予測されたキーフレーズ数が可変であることを考慮した2つの新しい評価指標を提案し、出力長が異なるモデル間の公平な比較を可能にする。
• 2つの既存ベンチマークと2つの新たに導入されたデータセット（StackExchange および TextWorld ACG）で、モデルをファインチューニングおよび評価する。
• 重複や重複するキーフレーズの生成を抑えるために、多様性正則化を学習目的に組み込む。

実験結果

リサーチクエスチョン

• RQ1 固定出力長制約なしに、生成モデルが多様なキーフレーズを生成できるか。
• RQ2 異なるデータセットにおいて、提案モデルは既存のベースラインと比べてキーフレーズの多様性と関連性で優れているか。
• RQ3 提案された可変長評価指標は、キーフレーズ生成におけるモデル比較の公平性と正確性をどの程度向上させるか。
• RQ4 新たに導入された StackExchange および TextWorld ACG データセットで示されるように、モデルは新しいドメインにうまく一般化できるか。
• RQ5 提案された多様性促進モジュールは、重複キーフレーズの生成をどの程度効果的に低減できるか。

主な発見

• 提案モデルは、新たに導入された2つのデータセット（StackExchange および TextWorld ACG）も含む3つのデータセットすべてにおいて、ベースラインを上回る優れた性能を達成した。
• 重複の減少と異なる概念のカバレッジ向上により測定されたように、生成されたキーフレーズ集合の多様性が顕著に向上した。
• 提案された評価指標は、出力長が可変なモデル間の性能差を効果的に捉えており、固定長ベンチマークよりもより正確な評価を可能にした。
• 新規の StackExchange および TextWorld ACG データセットにおいて、モデルは優れた一般化性能と頑健性を示し、多様性と関連性の両面で既存手法を上回った。
• 多様性促進モジュールの統合により、重複キーフレーズの生成が顕著に減少し、生成プロセスにおけるその有効性が確認された。