[論文レビュー] One Size Does Not Fit All: Generating and Evaluating Variable Number of Keyphrases

Xingdi Yuan, Tong Wang+5 more|arXiv (Cornell University)|Oct 11, 2018

Advanced Text Analysis Techniques参考文献 40被引用数 10

ひとこと要約

本稿では、ターゲットエンコーダーと直交正則化を用いて、キーフレーズの数を動的に制御し、多様性を向上させる、シーケンス・ツー・シーケンスモデルを提案する。可変長出力に特化した新しい評価指標F₁@𝒪およびF₁@ℳを導入し、Stack Overflowから得た新しいデータセットStackExを提示。KP20kやSemEvalを含む複数のベンチマークで、ベースラインを上回る性能を示した。

ABSTRACT

Different texts shall by nature correspond to different number of keyphrases. This desideratum is largely missing from existing neural keyphrase generation models. In this study, we address this problem from both modeling and evaluation perspectives. We first propose a recurrent generative model that generates multiple keyphrases as delimiter-separated sequences. Generation diversity is further enhanced with two novel techniques by manipulating decoder hidden states. In contrast to previous approaches, our model is capable of generating diverse keyphrases and controlling number of outputs. We further propose two evaluation metrics tailored towards the variable-number generation. We also introduce a new dataset StackEx that expands beyond the only existing genre (i.e., academic writing) in keyphrase generation tasks. With both previous and new evaluation metrics, our model outperforms strong baselines on all datasets.

研究の動機と目的

• 既存のニューラルキーフレーズ生成モデルにおける、キーフレーズ数の動的制御の欠如に対処する。
• ターゲットエンコーダーと直交正則化によるデコーダー隠れ状態の操作により、生成の多様性を向上させる。
• 固定kではなく可変数のキーフレーズ出力を考慮した、F₁@𝒪およびF₁@ℳという新しい評価指標を提案する。
• 学術的テキストにとどまらない、Stack Overflowコミュニティから得た新しいキーフレーズ生成データセットStackExを紹介する。
• 固定kのビームサーチが正規化の問題により最適でないことを示し、可変長設定ではグリーディサーチがビームサーチを上回ることを示す。

提案手法

• 複数のキーフレーズを区切り文字で区切ったシーケンスとして出力する、再帰的なシーケンス・ツー・シーケンスモデルを用いる。
• フレーズレベルの表現をモデル化し、デコーダー隠れ状態の多様性を向上させるために、ターゲットエンコーダーを導入する。
• デコーダーの隠れ状態遷移に直交正則化を適用し、多様性を促進し、崩壊を防ぐ。
• 事前にkを定義せずに、動的出力長を許容する自己終了デコード戦略を採用する。
• 2つの新しい評価指標を設計：F₁@𝒪（オラクルベース）およびF₁@ℳ（モデルベース）、両方とも可変サイズの出力に適応させた。
• ビームサーチとグリーディデコードの比較のため、既存のデータセット（KP20k、Inspecなど）および新しいStackExデータセットを用いて学習・評価を行う。

実験結果

リサーチクエスチョン

• RQ1 固定kのビームサーチに依存せずに、可変数のキーフレーズを生成できるニューラルモデルは存在するか？
• RQ2 ターゲットエンコーディングと直交正則化は、生成されたキーフレーズの多様性と品質にどのように影響するか？
• RQ3 固定k（例：5または10）で評価するという標準的手法は、偏ったまたは誤解を招く性能比較をもたらすか？
• RQ4 可変出力サイズを考慮した新しい評価指標は、キーフレーズ生成におけるモデル比較の信頼性を向上させ得るか？
• RQ5 学術的テキストにとどまらない、コミュニティ主導のデータセットであるStackExは、従来の学術的データセットと比較して、キーフレーズの分布とモデルの汎化性能においてどのように異なるか？

主な発見

• 提案モデルCatSeqDは、KP20k、Inspec、Krapivin、NUS、SemEvalを含むすべてのデータセットで強力なベースラインを上回り、KP20kではF₁@𝒪が最大35.7を記録した。
• アブレーションスタディの結果、ターゲットエンコーダーによる意味的カバレッジが性能向上に顕著に寄与する一方、直交正則化単体では性能が低下するが、意味的カバレッジと併用することで、KP20kで最大4.0ポイントの向上を達成した。
• グリーディサーチが可変数生成においてビームサーチを上回ることを示し、ビームサーチが動的出力長設定下で短く、重複したシーケンスを生成する傾向にあることを示唆した。
• モデルは平均89.70の固有フレーズを生成した（ビームサイズ50）のに対し、CatSeqは20.38にとどまり、ターゲットエンコーディングと直交正則化が多様性を向上させることを確認した。
• デコーダー隠れ状態のt-SNE可視化では、CatSeqDは明確に分離されたクラスタを生成しており、より明確で多様なデコード状態を示している一方、CatSeqは密集し、区別がつきにくいクラスタを形成していた。
• 新しいStackExデータセットは1サンプルあたり平均2.7個のキーフレーズ（分散1.4）を有し、学術的データセット（平均5.3～15.7）とは対照的に、より多様なジャンルと現実世界への適用可能性を示した。