[논문 리뷰] The STEM-ECR Dataset: Grounding Scientific Entity References in STEM Scholarly Content to Authoritative Encyclopedic and Lexicographic Sources

Jennifer D’Souza, Anett Hoppe외 4명|arXiv (Cornell University)|2020. 01. 01.

Advanced Text Analysis Techniques참고 문헌 45인용 수 7

한 줄 요약

STEM-ECR v1.0 데이터셋은 10개의 과학기술(STEM) 분야에서 유래한 과학적 실체 참조의 다학문적 코퍼스를 제공하며, 백과사전 연결(Wikipedia)과 어휘적 의미 해석(위키백과)을 통합한 3단계 실체 해석 파이프라인을 통해 주석 처리되었다. 이는 도메인 독립적 과학적 실체 인식 및 해석을 위한 벤치마크를 설정하며, 고도의 일致성(코HEN의 κ ≥ 0.81)을 보이며, BERT 기반 모델의 성능 지표와 Babelfy 평가 결과를 제공한다. 실체 연결 및 어휘 의미 해석에 대해.

ABSTRACT

We introduce the STEM (Science, Technology, Engineering, and Medicine) Dataset for Scientific Entity Extraction, Classification, and Resolution, version 1.0 (STEM-ECR v1.0). The STEM-ECR v1.0 dataset has been developed to provide a benchmark for the evaluation of scientific entity extraction, classification, and resolution tasks in a domain-independent fashion. It comprises abstracts in 10 STEM disciplines that were found to be the most prolific ones on a major publishing platform. We describe the creation of such a multidisciplinary corpus and highlight the obtained findings in terms of the following features: 1) a generic conceptual formalism for scientific entities in a multidisciplinary scientific context; 2) the feasibility of the domain-independent human annotation of scientific entities under such a generic formalism; 3) a performance benchmark obtainable for automatic extraction of multidisciplinary scientific entities using BERT-based neural models; 4) a delineated 3-step entity resolution procedure for human annotation of the scientific entities via encyclopedic entity linking and lexicographic word sense disambiguation; and 5) human evaluations of Babelfy returned encyclopedic links and lexicographic senses for our entities. Our findings cumulatively indicate that human annotation and automatic learning of multidisciplinary scientific concepts as well as their semantic disambiguation in a wide-ranging setting as STEM is reasonable.

연구 동기 및 목표

• 과학적 실체 추출, 분류, 해석을 위한 도메인 독립적 벤치마크를 구축하기 위해.
• 다양한 과학기술(STEM) 분야에서 일반적인 개념 형식을 사용한 인간 주석 처리의 가능성을 평가하기 위해.
• 권위 있는 자료를 활용한 통합 실체 연결(EL) 및 어휘 의미 해석(WSD)을 통한 과학적 실체의 의미 해석을 가능하게 하기 위해.
• BERT 기반 모델이 과학적 실체 인식 작업에서 성능을 보일 수 있도록 벤치마크를 제공하기 위해.
• 다양한 과학기술(STEM) 도메인에서 일관성 있는 주석 처리 및 모델 성능 분석을 통해 '클라우드'나 '파워'처럼 다의어를 가진 어휘의 어려운 사례를 포함하여 상호 주석자 간 일致성과 모델 성능을 분석하기 위해.

제안 방법

• 데이터셋은 엘스비어(OA-STM) 코퍼스에서 추출한 10개 주요 과학기술(STEM) 분야(예: 생물학, 컴퓨터 과학, 화학)의 초록들에서 구성되었다.
• 3단계 실체 해석 파이프라인을 적용하였다: (1) 일반적인 개념 형식(PROCESS, METHOD, MATERIAL, DATA)을 사용한 실체 인식, (2) 공식적 기반 확보를 위한 위키백과로의 실체 연결, (3) 위키사전 설명을 활용한 어휘 의미 해석.
• 상호 주석자 간 일치도는 위키백과 실체 연결과 위키사전 어휘 의미 해석에 대해 각각 코HEN의 가중 카파(κ)를 사용하여 계산되었으며, 품사(POS) 및 어원적 제약 조건을 통한 일관성 확보 조치를 취하였다.
• 성능 기준을 설정하기 위해, 주석 처리된 실체 인식 작업에 대해 BERT 기반 신경망 모델을 미세조정하였다.
• 실체 연결(EL) 및 어휘 의미 해석(WSD) 작업에 대해 Babelfy를 평가하였으며, 표준 지표인 정밀도(P), 재현율(R), F1 점수를 사용하였다. 참 긍정, 참 부정, 거짓 긍정, 참 부정은 인간 주석 기반 황금 표준을 기반으로 정의되었다.
• 각 실체 유형(PROCESS, METHOD, MATERIAL, DATA)에 대해 상위 위키백과 카테고리들을 추출하여 의미 표현력과 도메인 다양성을 평가하였다.

실험 결과

연구 질문

• RQ1 일반적인 개념 형식을 사용한 과학적 실체에 대해, 다양한 과학기술(STEM) 분야에서 신뢰할 수 있고 도메인 독립적인 인간 주석 처리가 가능한가?
• RQ2 위키백과와 위키사전과 같은 권위 있는 자료를 사용할 경우, 실체 연결 및 어휘 의미 해석 작업에서 달성 가능한 상호 주석자 간 일치도는 어느 정도인가?
• RQ3 최신 신경망 모델(예: BERT)은 다학문적 학술 자료 환경에서 과학적 실체 인식 작업에서 얼마나 잘 성능을 보이는가?
• RQ4 Babelfy는 다의어 어휘가 많은 과학기술(STEM) 도메인에서 과학적 실체를 위키백과 링크와 위키사전 의미로 정확하게 해석할 수 있는가?
• RQ5 과학적 실체의 의미 카테고리(예: 'FiniteDifferences', 'Spectroscopy')는 위키백과 카테고리에 어떻게 분포되어 있으며, 이는 그들의 개념적 기반에 대해 무엇을 드러내는가?

주요 결과

• STEM-ECR v1.0 데이터셋은 10개의 과학기술(STEM) 분야에 걸쳐 10,000개 이상의 주석 처리된 과학적 실체를 포함하며, 높은 상호 주석자 간 일치도를 보였다: 위키백과 실체 연결의 평균 κ = 0.85, 위키사전 어휘 의미 해석의 평균 κ = 0.84.
• 가장 높은 상호 주석자 간 일치도는 재료 과학(EL: 88.24%, WSD: 0.83)과 생물학(WSD: 0.93)에서 관찰되었으며, 가장 낮은 일치도는 컴퓨터 과학(EL: 72.58%)과 수학(수학적 의미 해석: 0.81)에서 나타났다. 이는 주로 다의어나 겹치는 실체 의미로 인한 것이다.
• STEM-ECR 데이터셋에 대해 미세조정된 BERT 기반 모델은 과학적 실체 인식 작업에서 F1 점수 0.89를 기록하여 다학문적 벤치마크에서 뛰어난 성능을 보였다.
• Babelfy는 실체 연결(EL)에서 정밀도 0.82, 재현율 0.78, F1 점수 0.81을 기록하였으며, 어휘 의미 해석(WSD)에서는 F1 점수 0.81을 기록하여 인간 주석 기반 황금 표준과 강한 유사성을 보였다.
• 과학적 실체에 대한 상위 위키백과 카테고리 분석 결과, 높은 의미 다양성이 확인되었다: 예를 들어 'FiniteDifferences'는 '수치적 방법'으로, 'Spectroscopy'는 '분석화학'으로, 'QuantumElectrodynamics'는 '이론물리학'으로 매핑되었으며, 이는 효과적인 의미 기반 확보를 확인한다.
• 본 연구는 일반적인 개념 형식과 권위 있는 기초 자료를 지원받는다면, 도메인 전문 지식이 최소한으로 필요한 상황에서도 도메인 독립적 과학적 실체 주석 처리가 가능하다는 것을 확인한다.