[論文レビュー] SenSeNet: Neural Keyphrase Generation with Document Structure

Yichao Luo, Zhengyan Li+4 more|arXiv (Cornell University)|Dec 12, 2020

Advanced Text Analysis Techniques参考文献 27被引用数 9

ひとこと要約

SenSeNetは、文選択モジュールを用いて顕著な文を特定することで、文書構造を組み込んだニューラルキーフレーズ生成モデルを提案する。スルーレイヤー推定と弱い教師信号を用いて、キーフレーズ生成を改善する。このアプローチは、複数のモデルで一貫して性能を向上させ、特に欠落済みおよび準存在キーフレーズにおいて顕著な効果を示す。構造的に重要なコンテンツに注目することで、性能向上を実現する。

ABSTRACT

Keyphrase Generation (KG) is the task of generating central topics from a given document or literary work, which captures the crucial information necessary to understand the content. Documents such as scientific literature contain rich meta-sentence information, which represents the logical-semantic structure of the documents. However, previous approaches ignore the constraints of document logical structure, and hence they mistakenly generate keyphrases from unimportant sentences. To address this problem, we propose a new method called Sentence Selective Network (SenSeNet) to incorporate the meta-sentence inductive bias into KG. In SenSeNet, we use a straight-through estimator for end-to-end training and incorporate weak supervision in the training of the sentence selection module. Experimental results show that SenSeNet can consistently improve the performance of major KG models based on seq2seq framework, which demonstrate the effectiveness of capturing structural information and distinguishing the significance of sentences in KG task.

研究の動機と目的

• 既存のキーフレーズ生成モデルが文書レベルの論理的構造を活用できないという限界を解消すること。
• 文書のコアな内容に関連する意味的に顕著な文を特定・強調することで、キーフレーズ生成を改善すること。
• 勾配伝搬を損なわずに、シーケンス・ツー・シーケンスモデルにメタ文インダクティブバイアスを組み込むこと。
• 構造的に関連する文に注目することで、存在するおよび欠落しているキーフレーズ、特に準存在キーフレーズの性能を向上させること。
• さまざまなエンコーダ・デコーダアーキテクチャに統合可能な汎用性の高いモジュールを設計すること。

提案手法

• 文選択モジュールは、トークン埋め込みからの文レベル表現を畳み込みニューラルネットワーク（CNN）で抽出し、その後、文の重要性を判別する二値分類器を適用する。
• 文選択モジュールの離散的バイナリ出力への勾配逆伝播を可能にするために、スルーレイヤー推定を用いる。
• 重要性予測結果を学習可能な埋め込み（「顕著」および「無関係」な文用）に変換し、エンコーダーの隠れ状態に注入する。
• 弱い教師信号を用いて文選択モジュールをガイドすることで、構造的に重要な文を識別する能力を向上させる。
• 最終的なエンコーダー表現は、元のコンテキストと重要性に配慮した埋め込みを組み合わせたものであり、これをデコーダーが用いてキーフレーズを生成する。
• このアーキテクチャは、Transformer、LSTM、GRUを含むさまざまなエンコーダ・デコーダフレームワークと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 文の重要性に基づいて文書構造をモデル化することで、キーフレーズ生成の性能が向上するか？
• RQ2 メタ文インダクティブバイアスを組み込むことで、存在するおよび欠落しているキーフレーズの生成にどのような影響を与えるか？
• RQ3 離散的文選択モジュールの微分可能近似が、キーフレーズ生成を効果的にガイドできるか？
• RQ4 このモデルは、さまざまなシーケンス・ツー・シーケンスアーキテクチャおよび学習パラダイムに一般化可能か？
• RQ5 非連続的な語の組み合わせから成る準存在キーフレーズの予測において、モデルがどの程度性能を向上させるか？

主な発見

• SenSeNetは、5つの公開データセットにおいて一貫してF1スコアを向上させ、GRU+RLを用いる際には欠落キーフレーズのF1@5で最大0.030の向上を達成した。
• KP20kデータセットにおいてGRU+RLを用いる際、欠落キーフレーズのF1@5で相対的に26%の向上を達成し、特に挑戦的なキーフレーズタイプにおいて優れた性能を示した。
• ケーススタディでは、ベースラインモデルがノイズの多いコンテンツから誤ったキーフレーズを生成するのを、SenSeNetが顕著に抑制していることが示された。
• 注目可視化の結果、顕著な文は高い注目重みを獲得している一方で、無関係な文はキーフレーズ関連語の確率を低下させていることが確認された。
• SenSeNetは、Transformer、LSTM、GRUを含む多様なアーキテクチャにおいて性能を向上させ、優れた一般化能力を示している。
• 非連続的な語から成る準存在キーフレーズの予測において特に優れた性能を発揮しており、文書構造に対するより良い推論能力を示している。