[論文レビュー] SemEval-2021 Task 11: NLPCONTRIBUTIONGRAPH - Structuring Scholarly NLP Contributions for a Research Knowledge Graph

Jennifer D’Souza, Sören Auer+1 more|arXiv (Cornell University)|Jan 1, 2021

Topic ModelingComputer Science参考文献 23被引用数 1

ひとこと要約

本論文は、SemEval-2021 タスク11、NLPCONTRIBUTIONGRAPH (NCG) を紹介する。これは、寄与文、科学的用語および関係、および主題-述語-目的語の三重項という3つの粒度で学術的NLP寄与を知識グラフ（KG）の三重項に構造化する、画期的な共同タスクである。最良のエンドツーエンドシステムは、文分類で57.27% F1、語句抽出で46.41% F1、三重項生成で22.28% F1を達成したが、ゴールド入力での優れたサブタスク性能にもかかわらず、タスクの難易度が顕著に示された。

ABSTRACT

There is currently a gap between the natural language expression of scholarly publications and their structured semantic content modeling to enable intelligent content search. With the volume of research growing exponentially every year, a search feature operating over semantically structured content is compelling. The SemEval-2021 Shared Task NLPContributionGraph (a.k.a. ‘the NCG task’) tasks participants to develop automated systems that structure contributions from NLP scholarly articles in the English language. Being the first-of-its-kind in the SemEval series, the task released structured data from NLP scholarly articles at three levels of information granularity, i.e. at sentence-level, phrase-level, and phrases organized as triples toward Knowledge Graph (KG) building. The sentence-level annotations comprised the few sentences about the article’s contribution. The phrase-level annotations were scientific term and predicate phrases from the contribution sentences. Finally, the triples constituted the research overview KG. For the Shared Task, participating systems were then expected to automatically classify contribution sentences, extract scientific terms and relations from the sentences, and organize them as KG triples. Overall, the task drew a strong participation demographic of seven teams and 27 participants. The best end-to-end task system classified contribution sentences at 57.27% F1, phrases at 46.41% F1, and triples at 22.28% F1. While the absolute performance to generate triples remains low, as conclusion to the article, the difficulty of producing such data and as a consequence of modeling it is highlighted.

研究の動機と目的

• 未構造化された学術的NLP寄与を機械可読で知識グラフに適した形式に構造化する自動システムの開発を目的とする。
• 学術的文献における情報過多の増大に伴う課題に対処し、構造化された研究コンテンツを通じて細粒度で意味的な検索を可能にする。
• 文、語句、三重項レベルでの研究寄与を捉えるための標準化されたアノテーションスキーム—NLPCONTRIBUTIONGRAPH (NCG)—の構築。
• 寄与抽出を自動NLPタスクとして形式化することで、包括的かつ相互接続された研究知識グラフ（ORKG）の構築を支援する。
• NLP技術を用いて学術論文から構造化された研究寄与をマイニングする可能性と難易度を評価する。

提案手法

• 本タスクでは、299編のNLP学術論文を、寄与文、科学的用語および関係、および主題-述語-目的語三重項という3つの粒度でアノテートしたデータセットを公開した。
• パイロット段階と仲裁段階を経て、RESEARCHPROBLEM、MODEL、RESULTS、EXPERIMENTALSETUP などの12の情報ユニット（IUs）を定義するアノテーションスキームを策定した。
• 評価は2段階で実施された：予測された文を用いたエンドツーエンドパイプライン、および手動でラベル付けされた文を用いたゴールドスタンダード段階。後者ではIU分類性能を隔離して評価した。
• 参加者は、分類および系列ラベル付けにBERTベースのモデル、従属構造解析、およびヒューリスティクスと機械学習を組み合わせたハイブリッド手法を多様に採用した。
• NCGデータセットは公開され、ORKGデジタルライブラリを通じてサンプル知識グラフが発行された。

実験結果

リサーチクエスチョン

• RQ1 NLPシステムは、学術的NLP論文における寄与文を自動で特定・分類できるか、どの程度効果的か？
• RQ2 システムは、高い正確性と再現率で、寄与文から科学的用語および関係的述語を抽出できるか？
• RQ3 エンドツーエンドシステムは、未構造化された学術的テキストから構造化された知識グラフ三重項を生成できるか？
• RQ4 パイプラインにおいて、ゴールドスタンダード文が与えられた場合と予測された文が与えられた場合とで、性能にどのような差が生じるか？
• RQ5 研究寄与のための標準化された、マルチ粒度のアノテーションスキームを構築するにあたり、主な課題と制限は何であるか？

主な発見

• 最良のエンドツーエンドシステムは、寄与文分類で57.27% F1、語句抽出で46.41% F1、三重項生成で22.28% F1を達成した。これは、エンドツーエンドの知識グラフ構築において、依然として大きな改善余地があることを示している。
• ゴールド文が与えられた場合、最良のシステムは情報ユニット分類で71.72% F1を達成した。これは、文分類がパイプラインにおける主なボトル neck であることを示している。
• 3つの必須IU（RESEARCHPROBLEM、MODEL、RESULTS）のみを予測するシンプルなベースラインシステムが69.01% F1を達成し、いくつかの複雑なモデルを上回った。これは、単純なヒューリスティクスが効果的である可能性を示唆している。
• INNOVATORSチームのシステムは、ゴールド文が与えられても性能向上を示さなかった。これは、入力文の品質に依存しない固定されたヒューリスティクスに依存していたことを示している。
• データセットの非均一なタスク分布—特に、訓練セットで58.62%のタスクが5編未満の論文しか含まない—が、低リソースタスクでの一般化性能の低さと性能の悪化に寄与している可能性がある。