[論文レビュー] Exclusive Hierarchical Decoding for Deep Keyphrase Generation

Wang Chen, Hou Pong Chan+2 more|arXiv (Cornell University)|Apr 18, 2020

Advanced Text Analysis Techniques参考文献 34被引用数 6

ひとこと要約

本稿では、深層キーフレーズ生成のための排他的階層的デコード（ExHiRD）を提案する。キーフレーズ集合における階層的構成性をモデル化するためのフレーズレベルおよびワードレベルのデコードプロセスを導入するとともに、重複を低減するためのソフトおよびハード排除機構を併用する。実験の結果、複数のベンチマークにおいてキーフレーズの多様性と正確性が顕著に向上し、従来手法と比較して重複率が低く、F1スコアが高くなった。

ABSTRACT

Keyphrase generation (KG) aims to summarize the main ideas of a document into a set of keyphrases. A new setting is recently introduced into this problem, in which, given a document, the model needs to predict a set of keyphrases and simultaneously determine the appropriate number of keyphrases to produce. Previous work in this setting employs a sequential decoding process to generate keyphrases. However, such a decoding method ignores the intrinsic hierarchical compositionality existing in the keyphrase set of a document. Moreover, previous work tends to generate duplicated keyphrases, which wastes time and computing resources. To overcome these limitations, we propose an exclusive hierarchical decoding framework that includes a hierarchical decoding process and either a soft or a hard exclusion mechanism. The hierarchical decoding process is to explicitly model the hierarchical compositionality of a keyphrase set. Both the soft and the hard exclusion mechanisms keep track of previously-predicted keyphrases within a window size to enhance the diversity of the generated keyphrases. Extensive experiments on multiple KG benchmark datasets demonstrate the effectiveness of our method to generate less duplicated and more accurate keyphrases.

研究の動機と目的

• 逐次的デコードの限界に対処すること。これは、階層的構造を無視し、重複するキーフレーズを生成する。
• フレーズレベルとワードレベルのデコードプロセスを分離することで、キーフレーズ集合の階層的構成性をモデル化すること。
• スライディングウィンドウ内で事前に生成されたキーフレーズを追跡するソフトおよびハード排除機構を用いて、キーフレーズの多様性を向上させること。
• 固定長のビームサーチに依存せずに、同時にキーフレーズの数と内容を予測すること。
• フレーズレベルの注意スコアを用いてワードレベルの注意スコアを再スケーリングすることで、文脈の集中を高め、生成品質を向上させること。

提案手法

• 階層的デコードフレームワークは、現在の要約対象の側面を特定するフレーズレベルデコード（PD）と、その後にワードレベルデコード（WD）でキーフレーズを1語ずつ生成する。
• PDは文書の内容と事前に生成されたキーフレーズを用いて、次に処理する側面を決定し、それに応じた隠れ表現をWDの初期化に使用する。
• ワードレベルデコードは文書に注目し、PDの注目スコアを用いてスコアを再スケーリングすることで、現在の側面を強調する。
• 訓練段階ではソフト排除機構が適用され、新しいキーフレーズの最初の単語が直近K個の生成済みキーフレーズとは異なるように促進される。
• 推論段階ではハード排除機構が使用され、直近K個のキーフレーズに既に使われた最初の単語を避けるように、排他的な探索が強制される。
• 両方の排除機構はサイズKのスライディングウィンドウ内で適用され、重複を低減しつつ生成の正確性を維持するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 キーフレーズ集合における階層的構成性をモデル化することで、生成の正確性が向上するか？
• RQ2 逐次的生成に排除機構を組み込むことで、キーフレーズの重複が低減するか？
• RQ3 排除機構のウィンドウサイズが多様性と性能に与える影響は何か？
• RQ4 提案された排除機構は他のキーフレーズ生成モデルにも一般化可能か？
• RQ5 階層的デコードは、F1スコアと重複制御の観点で、標準的な逐次的デコードを上回るか？

主な発見

• ExHiRD-hはKP20kデータセットでF1@5スコア最高の0.110を達成し、排他的探索を適用したベースラインを含め、すべての手法を上回った。
• KP20kにおけるDupRatioは3.97にまで低下し、ベースラインのcatSeq（3.70）やcatSeqCorr（3.36）と比較して顕著に低く、多様性の向上が示された。
• 排他的探索ウィンドウサイズK_ESを増加させると、DupRatioは低下し、F1@5は上昇した。K_ES = 'all'の設定が最良の結果をもたらしたが、ステミングの影響も見られた。
• 他のベースライン（例：catSeq、Transformer）に対しても排他的探索機構を適用することで、F1@5が向上し、重複が低減したが、ExHiRD-hは依然として優れた性能を示した。
• 事例研究では、ExHiRD-hが重複をより少なく生成したことが確認された。例えば、'debugging'は、ベースラインでは3回以上生成されたが、ExHiRD-hでは1回のみであった。
• KP20kにおけるPresent F1は0.374、Absent F1は0.311を達成し、両方のキーフレーズタイプにおいて強力な性能を示した。