[論文レビュー] NLPContributions: An Annotation Scheme for Machine Reading of Scholarly Contributions in Natural Language Processing Literature

Jennifer D’Souza, Sören Auer|arXiv (Cornell University)|Jun 23, 2020

Topic Modeling参考文献 53被引用数 8

ひとこと要約

本稿では、自然言語処理（NLP）および機械学習（ML）分野の研究論文から学術的貢献を抽出するための構造化されたアノテーションスキーム、NLPContributionsを紹介する。5つのNLPタスク（機械翻訳、固有表現抽出、質問応答、関係分類、テキスト分類）をカバーする50件の論文を対象としたパイロットアノテーションに基づき、機械読解を可能にするための10のコア情報ユニットを同定した。これにより、主語・述語・目的語の構造をとる文の形で貢献を表現可能となり、知識グラフの構築やオープンサイエンス応用を想定した再利用可能でFAIR準拠のデータセットの構築が可能となる。

ABSTRACT

We describe an annotation initiative to capture the scholarly contributions in natural language processing (NLP) articles, particularly, for the articles that discuss machine learning (ML) approaches for various information extraction tasks. We develop the annotation task based on a pilot annotation exercise on 50 NLP-ML scholarly articles presenting contributions to five information extraction tasks 1. machine translation, 2. named entity recognition, 3. question answering, 4. relation classification, and 5. text classification. In this article, we describe the outcomes of this pilot annotation phase. Through the exercise we have obtained an annotation methodology; and found ten core information units that reflect the contribution of the NLP-ML scholarly investigations. The resulting annotation scheme we developed based on these information units is called NLPContributions. The overarching goal of our endeavor is four-fold: 1) to find a systematic set of patterns of subject-predicate-object statements for the semantic structuring of scholarly contributions that are more or less generically applicable for NLP-ML research articles; 2) to apply the discovered patterns in the creation of a larger annotated dataset for training machine readers of research contributions; 3) to ingest the dataset into the Open Research Knowledge Graph (ORKG) infrastructure as a showcase for creating user-friendly state-of-the-art overviews; 4) to integrate the machine readers into the ORKG to assist users in the manual curation of their respective article contributions. We envision that the NLPContributions methodology engenders a wider discussion on the topic toward its further refinement and development. Our pilot annotated dataset of 50 NLP-ML scholarly articles according to the NLPContributions scheme is openly available to the research community at https://doi.org/10.25835/0019761.

研究の動機と目的

• 自然言語処理（NLP）および機械学習（ML）分野の研究論文における学術的貢献を捉えるための体系的かつ再利用可能なアノテーションスキームの開発。
• NLP-ML分野の文献に共通する、主語・述語・目的語の構造をとる文のパターンを同定すること。
• 機械読解のための研究貢献抽出を訓練可能とする、大規模かつFAIRデータ原則に準拠したアノテーションデータセットの作成。
• アノテーションデータをオープンリサーチ知識グラフ（ORKG）に統合し、学術的知的発見の強化を図ること。
• 意味的構造化を活用した、ユーザーフレンドリーな機械による要約の開発を支援すること。

提案手法

• 機械翻訳、固有表現抽出、質問応答、関係分類、テキスト分類の5つの情報抽出タスクをカバーする50件のNLP-ML研究論文を対象としたパイロットアノテーション研究を実施。
• 反復的アノテーションと合意形成を通じて、学術的貢献を反映する10のコア情報ユニットを同定。
• これらのユニットに基づき、意味的構造化を目的とした主語・述語・目的語の三項組みを焦点としたNLPContributionsアノテーションスキームを設計。
• このスキームを適用して、50件のアノテート済み論文からなるデータセットを作成し、DOI: 10.25835/0019761 を通じて公開。
• データセットの検索可能性、アクセス可能性、相互運用性、再利用可能性を確保するため、ORKG基準に準拠してFAIR準拠を確保。
• 今後の拡張として、PDFパースの改善、エンティティリンク、オントロジー整合（例：MEX語彙）、クロスドメイン一般化の検討を提案。

実験結果

リサーチクエスチョン

• RQ1 自然言語処理（NLP）および機械学習（ML）分野の研究論文における学術的貢献に共通する、主語・述語・目的語の構造をとる文のパターンは何か？
• RQ2 NLP-ML研究論文の核心的貢献を一貫的かつ再利用可能に捉えるためのアノテーションスキームはどのように開発できるか？
• RQ3 パイロットアノテーション済みの50件の論文データセットは、学術的貢献抽出のための機械読解モデルの学習にどの程度有効か？
• RQ4 このようなアノテーションデータセットは、ORKGのような学術的知識グラフインfraに統合され、研究発見の質をどのように向上できるか？
• RQ5 より広範な科学分野へのスケーリングを実現するにあたり、どのような技術的・メソドロジカルな改善が必要か？

主な発見

• パイロットアノテーションにより、NLP-ML分野の研究論文における学術的貢献を一貫して反映する10のコア情報ユニットが同定された。
• NLPContributionsスキームは、主語・述語・目的語の三項組みにより貢献を的確に捉え、研究主張を構造的かつ機械読解可能な形で表現可能である。
• 50件のアノテート済みNLP-ML論文からなるデータセットは、DOI: 10.25835/0019761 で公開されており、FAIRデータ原則に準拠している。
• このアノテーションスキームは、オープンリサーチ知識グラフ（ORKG）への統合を想定しており、自動化されたキュレーションと知的発見を支援する。
• 今後の主な改善点として、PDFパースの向上、エンティティリンク、オントロジー整合（例：MEX語彙）、クロスドメインスケーラビリティの向上が同定された。
• 本研究の手法は、科学分野の広範な分野に応用可能な意味的出版および学術的貢献の機械読解の基盤を提供する。