[論文レビュー] Semi-Supervised Learning for Neural Keyphrase Generation

Hai Ye, Lu Wang|arXiv (Cornell University)|Aug 21, 2018

Advanced Text Analysis Techniques参考文献 41被引用数 13

ひとこと要約

本稿では、ラベル付きデータが限られる状況において性能を向上させるために、大規模なラベルなし文書を活用する半教師あり学習手法を、ニューラルキーフレーズ生成に提案する。ラベルなしデータから非教師付き抽出や自己学習によって合成キーフレーズを生成し、キーフレーズ生成とタイトル生成を共同で学習するマルチタスク学習フレームワークを用いることで、特にリソースが限られた状況やクロスドメインのシナリオにおいて、完全に教師ありのモデルを著しく上回る性能を達成する。

ABSTRACT

We study the problem of generating keyphrases that summarize the key points for a given document. While sequence-to-sequence (seq2seq) models have achieved remarkable performance on this task (Meng et al., 2017), model training often relies on large amounts of labeled data, which is only applicable to resource-rich domains. In this paper, we propose semi-supervised keyphrase generation methods by leveraging both labeled data and large-scale unlabeled samples for learning. Two strategies are proposed. First, unlabeled documents are first tagged with synthetic keyphrases obtained from unsupervised keyphrase extraction methods or a selflearning algorithm, and then combined with labeled samples for training. Furthermore, we investigate a multi-task learning framework to jointly learn to generate keyphrases as well as the titles of the articles. Experimental results show that our semi-supervised learning-based methods outperform a state-of-the-art model trained with labeled data only.

研究の動機と目的

• リソースが限られたドメインにおけるニューラルキーフレーズ生成の性能制限要因であるラベル付きデータの不足に取り組む。
• 豊富なラベルなし文書を活用して、人為的ラベル付けを必要とせずにキーフレーズ生成の性能を向上させる半教師あり学習を検討する。
• ラベルなしデータが、特にクロスドメイン移行を含む、さまざまなドメイン間でのモデルの汎化性能向上に寄与するかを調査する。
• 大規模なラベル付きデータが既に利用可能である状況でも、半教師あり手法の有効性を評価し、スケーラビリティとロバストネスを検証する。
• ラベルなしデータからの共有表現を活用するため、キーフレーズ生成とタイトル生成を共同で学習するマルチタスク学習フレームワークを構築する。

提案手法

• TF-IDF や TextRank などの非教師付き手法を用いて、ラベルなし文書に対して合成キーフレーズを生成する。
• 自己学習アルゴリズムを適用し、ラベルなしデータ上の合成キーフレーズ予測を反復的に精緻化・拡張する。
• ラベル付き例と合成キーフレーズ付きドキュメントの混合データセット上で、seq2seq モデルを事前学習する。
• 目的のタスクに適応させるために、ラベル付きデータのみを用いて、事前学習モデルを微調整する。
• キーフレーズ生成（ラベル付きデータ）とタイトル生成（ラベルなしデータ）の両タスクに共通のエンコーダーを採用するマルチタスク学習フレームワークを設計する。
• 共有された文脈理解を介して表現学習と汎化性能の向上を図るため、統合的目標関数を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 非教師付き手法から得た合成キーフレーズを、限られたラベル付きデータと組み合わせることで、ニューラルキーフレーズ生成の性能を著しく向上させることができるか？
• RQ2 ラベルなしデータからキーフレーズ生成とタイトル生成を共同で学習するマルチタスク学習フレームワークは、教師あり学習のみに比べて性能が向上するか？
• RQ3 本手法の半教師ありアプローチは、クロスドメイン設定（例：科学論文で学習したモデルがニュース記事のキーフレーズ生成に適用される場合）においてどの程度有効か？
• RQ4 大規模なラベル付きデータセットが既に利用可能な状況でも、ラベルなしデータは性能向上に寄与するか？
• RQ5 提案手法は、入力文書に存在しないキーフレーズ（ absent keyphrases ）の生成をどの程度向上させるか？

主な発見

• 本手法は、5つの科学論文データセットにおいて、最先端の教師ありモデル（Meng et al., 2017）を著しく上回り、F1@5 と F1@10 のスコアがそれぞれ最大 0.039 と 0.046 向上した。
• マルチタスク学習アプローチは、KP20k データセットで F1@5 0.328、F1@10 0.264 の最高スコアを記録し、ベースラインの seq2seq-copy モデル（p < 0.01）を著しく上回った。
• DUC ニュース記事データセットでは、科学論文で学習したモデルに、ラベルなしニュースデータを微調整させたことで、教師ありのみのベースラインより高い F1 スコアを達成し、クロスドメイン汎化の有効性を示した。
• 13万件のラベル付きペairが存在する状況でも、40万件のラベルなしドキュメントを追加することで、存在するキーフレーズと存在しないキーフレーズの両方の生成性能が向上し、Recall@10 が最大 0.046 向上した。
• 自己学習に基づく合成キーフレーズ生成手法が、すべての合成キーフレーズ戦略の中で最高の性能を示し、Inspec データセットで F1@5 が 0.321 を達成した。
• 結果から、ラベルなしデータはリソース豊富な状況であっても、モデルの汎化性能を一貫して向上させることが示され、提案された半教師ありフレームワークの広範な適用可能性が示唆された。