[論文レビュー] LDKP: A Dataset for Identifying Keyphrases from Long Scientific Documents

Debanjan Mahata, Naveen Agarwal+6 more|arXiv (Cornell University)|Mar 29, 2022

Advanced Text Analysis Techniques被引用数 6

ひとこと要約

本論文は、約130万件の長文科学論文と10万件の長文科学論文を含み、全文コンテンツと豊富なメタデータを備えた大規模データセットLDKPを紹介する。このデータセットは、従来のキーフレーズ抽出（KPE）およびキーフレーズ生成（KPG）データセットが短いタイトルや要約に依存するという限界を補うことを目的としている。S2ORCコーパスの全文論文に既存のKP20KおよびOAGKxキーフレーズデータセットをマッピングすることで、文書の平均長は約8文から190文以上に増加し、入力テキスト内に存在するキーフレーズの割合も約53％から最大76％に上昇する。これにより、長文で現実的な科学論文を対象としたKPE/KPGモデルの評価が可能になる。

ABSTRACT

Identifying keyphrases (KPs) from text documents is a fundamental task in natural language processing and information retrieval. Vast majority of the benchmark datasets for this task are from the scientific domain containing only the document title and abstract information. This limits keyphrase extraction (KPE) and keyphrase generation (KPG) algorithms to identify keyphrases from human-written summaries that are often very short (approx 8 sentences). This presents three challenges for real-world applications: human-written summaries are unavailable for most documents, the documents are almost always long, and a high percentage of KPs are directly found beyond the limited context of title and abstract. Therefore, we release two extensive corpora mapping KPs of ~1.3M and ~100K scientific articles with their fully extracted text and additional metadata including publication venue, year, author, field of study, and citations for facilitating research on this real-world problem.

研究の動機と目的

• 短い人為的要約に依存するのではなく、全文科学論文を対象としているという点で、KPEおよびKPG研究における重要なギャップを埋める。
• キーフレーズ同定を8〜10文に制限する既存のデータセットの限界を克服し、現実世界の文書長さとコンテンツ分布を反映しない問題を解消する。
• 深層学習モデルの訓練および評価を支援するため、全文科学論文と関連キーフレーズを備えたスケーラブルで公開可能なデータセットを提供する。
• 出版会議、年、著者、引用、引用文脈などの豊富なメタデータを含めることで、長文ドキュメント向けキーフレーズ抽出研究を促進する。
• 既存のデータセット（約50–57％）と比較して、入力テキスト内に存在するキーフレーズの割合が最大76.11％にまで上昇するLDKP3Kにおいて、より高い入力カバレッジを実現し、KPE/KPGモデルの評価を現実的に行えるようにする。

提案手法

• 論文のタイトルをリンクキーとして用い、S2ORCコーパスの全文科学論文に既存のキーフレーズデータセット（KP20KおよびOAGKx）をマッピングする。
• すべての文書においてセクションヘッダー（例：「イントロダクション」、「メソドロジー」）を統一されたフォーマットに標準化し、変種表記（例：「1. イントロダクション」、「I. イントロダクション」）を置き換える。
• 単語のみ（unigrams）、数値のみのエントリ、誤って解析されたフレーズ（例：「2,4-ジクロロフェノキシアセチック酸」が複数のトークンに分割されたもの）など、低品質なキーフレーズをフィルタリングする。
• リソース制限のあるプラットフォーム（例：Google Colab）でも利用可能なように、LDKP3K（10万件の文書）およびLDKP10K（130万件の文書）の3つのデータ分割（小、中、大）を生成する。
• 分野、引用、メタデータ（例：会議、年、DOI、PubMed ID）の情報を保持することで、後続の研究に適した豊富な情報を持つデータセットを構築する。
• タイトルの重複を手動で確認し、慎重なサンプリングにより、訓練・検証・テスト分割における分野の分布がバランスされるようにする。

実験結果

リサーチクエスチョン

• RQ1 従来のKPEおよびKPGモデルは、短い要約ではなく、長文科学論文に対してどれほど一般化できるか？
• RQ2 文書の平均長さを約8文から190文以上に引き上げることで、入力テキスト内に存在するキーフレーズの割合はどの程度変化するか？
• RQ3 豊富なメタデータ（引用、会議、年など）を備えた全文ドキュメントで学習したモデルは、要約のみで学習したモデルよりも優れたキーフレーズ抽出性能を達成できるか？
• RQ4 文書長さとキーフレーズの分布が、現代の深層学習モデルのキーフレーズ抽出および生成性能に与える影響は何か？
• RQ5 異なるデータ分割（小、中、大）は、大規模データセットにおけるKPE/KPG研究の再現性およびスケーラビリティにどのような影響を与えるか？

主な発見

• LDKP3Kデータセットには、10万件の全文科学論文が含まれ、1文書あたりの平均文数は280.67文であり、既存データセットの平均8.87文と比較して約30倍の増加である。
• LDKP10Kデータセットは130万件の全文科学論文を含み、1文書あたりの平均文数は194.76文であり、長文KPEデータのスケールが著しく拡大された。
• 入力テキスト内に存在するキーフレーズの割合は、OAGKxの52.7％からLDKP10Kでは63.65％に、KP20Kの57.4％からLDKP3Kでは76.11％に上昇し、入力カバレッジの顕著な向上が示された。
• LDKPデータセットには、出版会議、年、著者、引用、引用文脈などの豊富なメタデータが含まれており、より洗練された後続分析やモデル訓練が可能になる。
• Google Colabなどのリソース制限のあるプラットフォームでも利用可能な複数のサイズ（小、中、大）で提供されるため、計算リソースが限られた研究者にとってもアクセシビリティが向上した。
• 訓練・検証・テスト分割における分野の分布は、図1および図2の可視化により、良好にバランスされていることが確認され、信頼性の高いモデル評価が可能である。