[논문 리뷰] Multi-Task Identification of Entities, Relations, and Coreference for Scientific Knowledge Graph Construction

Yi Luan, Luheng He외 2명|arXiv (Cornell University)|2018. 08. 29.

Topic Modeling참고 문헌 36인용 수 44

한 줄 요약

이 논문은 과학 텍스트에서 과학 엔티티, 관계 및 핵심참조를 식별하기 위한 통합 다중 작업 모델(SciIE)과 SciERC 데이터세트를 제시하고, 핸드 엔지니어링 기능 없이 정보 추출 및 지식 그래프 구성을 개선함을 보여준다.

ABSTRACT

We introduce a multi-task setup of identifying and classifying entities, relations, and coreference clusters in scientific articles. We create SciERC, a dataset that includes annotations for all three tasks and develop a unified framework called Scientific Information Extractor (SciIE) for with shared span representations. The multi-task setup reduces cascading errors between tasks and leverages cross-sentence relations through coreference links. Experiments show that our multi-task model outperforms previous models in scientific information extraction without using any domain-specific features. We further show that the framework supports construction of a scientific knowledge graph, which we use to analyze information in scientific literature.

연구 동기 및 목표

• 다문장 정보를 처리하고 cascading 오류를 줄이기 위해 엔티티, 관계 및 핵심참조를 함께 모델링하여 과학 정보 추출을 발전시키는 것을 목표로 한다.
• SciERC를 과학 초록에서 엔티티, 관계 및 핵심참조에 대한 주석이 포함된 데이터세트로 만든다.
• 실무에서의 스팬 표현을 공유하는 엔드투엔드 unified 프레임워크를 개발하여 스팬 경계 탐지 및 관계 범위를 개선한다.
• 다중 작업 모델이 SciERC 및 SemEval 데이터셋에서 최신 강점기준 baselines를 능가함을 입증한다.
• 추출된 용어와 관계를 대규모 과학 지식 그래프로 통합하여 문헌 분석에 활용하는 방법을 보여준다.

제안 방법

• 세 작업(엔티티 인식, 관계 추출, 핵심참조 해석)을 공유 스팬 표현에 대한 다항 분류로 간주한다.
• 최대 너비까지 후보 스팬을 열거하고 점수화하여 중첩 및 문장 간 관계를 가능하게 한다.
• 공유 스팬 표현 g_i로부터 feed-forward 네트워크를 이용해 Phi_E, Phi_R, Phi_C를 계산하는 통합 점수화 아키텍처를 사용한다; 관계 및 핵심참조는 g_i, g_j, 그리고 g_i ∘ g_j를 포함한 페어와 스팬 특징을 사용한다.
• E, R, C에 대한 음의 우도 로그 손실의 가중합으로 학습하되, 작업 가중치 lambda_E, lambda_R, lambda_C로 작업 간 밸런스를 맞춘다.
• 후보 스팬과 페어 간 계산을 줄이기 위해 빔 가지치기를 도입하여 효율적인 추론을 가능하게 하고, 교차 문장 정보를 핵심참조를 통해 공유하기 위해 작업 간 스팬 표현을 공유한다.

실험 결과

연구 질문

• RQ1 단일 다중 작업 모델이 과학 텍스트에서 엔티티, 관계 및 핵심참조를 함께 식별하여 작업별 베이스라인보다 우수한 성능을 보일 수 있는가?
• RQ2 핵심참조를 통한 문장 간 정보가 관계 범위 탐지와 엔티티 경계 탐지에 어떤 도움을 주는가?
• RQ3 핸드 엔지니어링 특징 없이 스팬 기반 엔드투엔드 접근 방식이 과학적 IE에서 중첩 스팬과 교차 문장 관계를 효과적으로 처리하는가?
• RQ4 공동 학습이 다운스트림 과학 지식 그래프의 구성과 품질에 어떤 영향을 미치는가?
• RQ5 핵심참조 전파가 지식 그래프의 밀도와 비언어화(disambiguation) 개선에 어떤 시사점을 주는가?

주요 결과

• SciIE가 SciERC에서 엔티티 인식, 관계 추출 및 핵심참조 해석에서 베이스라인을 능가한다.
• 엔티티 인식: 개발에서 68.1 F1, 테스트에서 64.2 F1으로 SciIE가 LSTM+CRF 및 E2E Rel 베이스라인 대비 유의미한 이점을 보인다.
• 관계 추출: SciIE는 개발에서 58.0 F1, 테스트에서 48.2 F1로 E2E Rel 베이스라인을 크게 능가한다.
• 핵심참조 해석: SciIE는 개발에서 58.0 F1, 테스트에서 48.2 F1로 E2E Coref를 능가한다.
• 변형 실험은 다중 작업 학습이 모든 작업에서 성능을 향상시키며, 공동 학습은 예를 들어 엔티티 65.7 vs 68.1, 관계 37.9 vs 39.5, 핵심참조 55.3 vs 58.0(개발)과 같은 이점을 준다.
• SemEval 2017에서 SciIE는 이전의 특징 기반 방법을 능가한다(스팬 식별 F1 58.6; 핵심구 추출 F1 46.0; 관계 추출 F1 27.8; 종합 F1 44.7).
• 110k 초록으로부터의 지식 그래프 구축은 핵심참조 전파가 평가된 사람 주석의 트리플에서 그래프 품질과 재현율을 증가시킨다