[論文レビュー] Select, Extract and Generate: Neural Keyphrase Generation with Syntactic Guidance.

Wasi Uddin Ahmad, Xiao Bai+2 more|arXiv (Cornell University)|Aug 4, 2020

Advanced Text Analysis Techniques被引用数 2

ひとこと要約

本稿では、階層的カバレッジ注意と情報付きコピーアテンションを備えたTransformerベースのアーキテクチャを用いて、文選択、語句抽出、生成を統合する新規なニューラルキーフレーズ生成モデルSEG-Netを提案する。キーフレーズとその品詞タグの同時予測を実現し、計算コストの低減と顕著な内容のカバレッジ向上により、科学的文書およびWeb文書の7つのベンチマークで最先端の性能を達成する。

ABSTRACT

In recent years, deep neural sequence-to-sequence framework has demonstrated promising results in keyphrase generation. However, processing long documents using such deep neural networks requires high computational resources. To reduce the computational cost, the documents are typically truncated before given as inputs. As a result, the models may miss essential points conveyed in a document. Moreover, most of the existing methods are either extractive (identify important phrases from the document) or generative (generate phrases word by word), and hence they do not benefit from the advantages of both modeling techniques. To address these challenges, we propose \emph{SEG-Net}, a neural keyphrase generation model that is composed of two major components, (1) a selector that selects the salient sentences in a document, and (2) an extractor-generator that jointly extracts and generates keyphrases from the selected sentences. SEG-Net uses a self-attentive architecture, known as, \emph{Transformer} as the building block with a couple of uniqueness. First, SEG-Net incorporates a novel \emph{layer-wise} coverage attention to summarize most of the points discussed in the target document. Second, it uses an \emph{informed} copy attention mechanism to encourage focusing on different segments of the document during keyphrase extraction and generation. Besides, SEG-Net jointly learns keyphrase generation and their part-of-speech tag prediction, where the later provides syntactic supervision to the former. The experimental results on seven keyphrase generation benchmarks from scientific and web documents demonstrate that SEG-Net outperforms the state-of-the-art neural generative methods by a large margin in both domains.

研究の動機と目的

• 長文書の処理にかかる高コストを軽減するため、切断するのではなく顕著な文を抽出することにより、ニューラルキーフレーズ生成における計算コストを低減すること。
• 純粋に抽出的または生成的モデルに限界があるのを克服するため、統一されたフレームワーク内で抽出と生成を統合すること。
• 生成されたキーフレーズの品詞タグを共同で予測することで、構文的監視を導入し、モデルのパフォーマンスを向上させること。
• レイヤーごとのカバレッジと情報付きコピーアテンションを用いて、文書内の顕著なポイントをよりよくカバーするようにアテンションメカニズムを強化すること。
• 文書の切断に依存せず、科学的およびWeb文書を含む多様なドメインで高いパフォーマンスを維持するモデルの開発

提案手法

• SEG-Netは二段階アーキテクチャを採用する：入力文書から顕著な文を自己注意メカニズムを用いて特定するセレクタ。
• 抽出器・生成器コンponentは、新しいレイヤーごとのカバレッジ注意を備えたTransformerベースのエンコーダ・デコーダフレームワークを用いて、選択された文を処理し、レイヤー間でキーポイントを要約する。
• キーフレーズ生成中に、文書の関連するセグメントに注目を向けるように導くために、情報付きコピーアテンションメカニズムを導入する。これにより、ソースコンテンツへの忠実性が向上する。
• キーフレーズ生成と品詞タグ付けを共同で学習し、構文的情報を用いて生成プロセスを監視・最適化する。
• エンコーダはマルチヘッド自己注意を用いて、選択された文における長距離依存関係をモデル化する。デコーダはカバレッジおよびコピーメカニズムを備えて、自己回帰的にキーフレーズを生成する。
• 生成用の交差エントロピー損失と品詞タグ付け用の交差エントロピー損失の組み合わせにより、エンド・ツー・エンドで訓練され、共同最適化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 文選択、語句抽出、ニューラル生成を統合したハイブリッドアプローチは、純粋に抽出的または生成的モデルを上回る性能を発揮するか？
• RQ2 品詞タグ付けによる構文的監視を組み込むことで、キーフレーズ生成のパフォーマンスはどの程度向上するか？
• RQ3 レイヤーごとのカバレッジ注意は、長文書における顕著な内容を網羅する能力をどの程度向上させるか？
• RQ4 情報付きコピーアテンションは、特に長文書において、生成時に関連するソース語句に焦点を合わせる能力を向上させるか？
• RQ5 提案されたアーキテクチャは、文書の切断に依存せず、科学的およびWeb文書を含む多様なドメインで高いパフォーマンスを維持できるか？

主な発見

• SEG-Netは、7つのキーフレーズ生成ベンチマークで最先端のニューラル生成手法を上回り、科学的およびWeb文書の両ドメインで一貫した向上を示した。
• キーフレーズ生成の質が、品詞タグ付けを共同学習の目的として統合することで、構文的監視により向上した。
• レイヤーごとのカバレッジ注意メカニズムは、要約されたキーポイントを効果的に捉え、切断ベースラインと比較して情報損失を低減した。
• 情報付きコピーアテンションメカニズムは、モデルの関連するソース語句への注目能力を向上させ、生成の正確性と関連性を改善した。
• 二段階設計（生成前に顕著な文を抽出）により、計算コストが低減したが、特に長文書においてパフォーマンスが維持された。
• モデルは文書の切断を必要とせず、長入力における必須コンテンツの損失を回避しながら、優れたパフォーマンスを達成した。