[論文レビュー] Keyphrase Generation with Cross-Document Attention

Shizhe Diao, Yan Song+1 more|arXiv (Cornell University)|Apr 21, 2020

Advanced Text Analysis Techniques参考文献 45被引用数 7

ひとこと要約

本稿では、コーパス全体の潜在的トピック構造と文書間依存関係を捉えるためにクロスドキュメントアテンションを統合することで、キーフレーズ抽出を向上させるTransformerベースのキーフレーズ生成モデル、CDKGenを提案する。複数の参照文書とOOV語のコピー機構を活用することで、5つのベンチマークデータセットで最先端の性能を達成し、キーフレーズの関連性と多様性が向上する。

ABSTRACT

Keyphrase generation aims to produce a set of phrases summarizing the essentials of a given document. Conventional methods normally apply an encoder-decoder architecture to generate the output keyphrases for an input document, where they are designed to focus on each current document so they inevitably omit crucial corpus-level information carried by other similar documents, i.e., the cross-document dependency and latent topics. In this paper, we propose CDKGen, a Transformer-based keyphrase generator, which expands the Transformer to global attention with cross-document attention networks to incorporate available documents as references so as to generate better keyphrases with the guidance of topic information. On top of the proposed Transformer + cross-document attention architecture, we also adopt a copy mechanism to enhance our model via selecting appropriate words from documents to deal with out-of-vocabulary words in keyphrases. Experiment results on five benchmark datasets illustrate the validity and effectiveness of our model, which achieves the state-of-the-art performance on all datasets. Further analyses confirm that the proposed model is able to generate keyphrases consistent with references while keeping sufficient diversity. The code of CDKGen is available at https://github.com/SVAIGBA/CDKGen.

研究の動機と目的

• 従来のキーフレーズ生成モデルが単一文書にのみ注目しており、コーパスレベルのトピック情報を欠いているという限界を是正すること。
• 複数の関連する文書からの潜在的トピックを統合することで、キーフレーズの関連性と多様性を向上させること。
• 入力文書から直接語をコピーできるコピー機構を用いて、キーフレーズにおける未知語（OOV）を処理すること。
• キーフレーズ生成中に複数の文書の関連するコンテンツに注目できるグローバルアテンション機構を開発すること。
• 参照文書との整合性を保ちつつ、出力の多様性を維持したまま、キーフレーズ生成ベンチマークで最先端の性能を達成すること。

提案手法

• CDKGenは、標準的なTransformerエンコーダ・デコーダアーキテクチャにクロスドキュメントアテンション機構を拡張し、デコーダが複数の関連文書の表現に注目できるようにする。
• クロスドキュメントアテンションモジュールは、デコーダの隠れ状態と参照文書のエンコード表現との間でアテンションスコアを計算し、コーパス全体の共通するトピックパターンにアクセスできるようにする。
• デコーダにコピー機構を統合し、特にキーフレーズにおけるレア語やOOV語に対して、入力文書から直接語をコピーできるようにする。
• 生成とコピーのバランスを取るために、生成用の交差エントロピー損失とコピーゲート機構を組み合わせて、エンドツーエンドでモデルを学習する。
• エンコーダは各文書を独立して処理するが、デコーダは参照セット内のすべての文書に注目することで、デコード中に文脈を豊かにする。
• 動的参照セットをサポートしており、入力に応じて最も関連性の高い文書に適応的に注目できる。

実験結果

リサーチクエスチョン

• RQ1 複数の文書にまたがる潜在的トピック構造を捉えるためにクロスドキュメントアテンションを統合することで、キーフレーズ生成の性能が向上するか？
• RQ2 複数の参照文書を含めることで、生成されたキーフレーズの関連性と多様性にどのような影響を与えるか？
• RQ3 コピー機構が未知語キーフレーズ語に与える性能向上の程度はどの程度か？
• RQ4 提案手法は、標準ベンチマークデータセットで既存の最先端手法を上回るか？
• RQ5 生成されたキーフレーズは、参照キーフレーズとどの程度整合性を保ちつつ、十分な多様性を維持しているか？

主な発見

• CDKGenは、5つのベンチマークデータセットすべてで最先端の性能を達成し、精度と再現率の両指標で従来手法を上回った。
• クロスドキュメントアテンションにより、複数の文書からのトピック情報を活用することで、参照キーフレーズとの整合性が向上した。
• コピー機構により、希少語やOOV語の性能が顕著に向上し、そのような語の生成エラーが低減した。
• アブレーションスタディにより、クロスドキュメントアテンションとコピー機構の両方が、モデル性能に独立してかつ顕著に寄与することが確認された。
• 生成されたキーフレーズは、入力文書との関連性と、異なる出力間での多様性の両方をうまくバランスしている。
• 定性的分析により、CDKGenが、入力および参照文書の主要トピックと整合した意味的に整合性のあるキーフレーズを生成することが確認された。