[논문 리뷰] DocRED: A Large-Scale Document-Level Relation Extraction Dataset

Yuan Yao, Deming Ye외 8명|arXiv (Cornell University)|2019. 06. 14.

Topic Modeling참고 문헌 41인용 수 42

한 줄 요약

DocRED는 위키피디아와 위키데이터에서 사람 주석이 달린 대규모 문서 수준 관계 추출 데이터세트와 비지도 학습 데이터를 도입하여 문서 수준 RE를 문장 수준 방법을 넘어 확장시키려 한다. 이는 기존 모델이 문서 규모의 추론에서 어려움을 겪고 있음을 보여주고 감독 학습 및 약지도 설정에 대한 벤치마크를 제공한다.

ABSTRACT

Multiple entities in a document generally exhibit complex inter-sentence relations, and cannot be well handled by existing relation extraction (RE) methods that typically focus on extracting intra-sentence relations for single entity pairs. In order to accelerate the research on document-level RE, we introduce DocRED, a new dataset constructed from Wikipedia and Wikidata with three features: (1) DocRED annotates both named entities and relations, and is the largest human-annotated dataset for document-level RE from plain text; (2) DocRED requires reading multiple sentences in a document to extract entities and infer their relations by synthesizing all information of the document; (3) along with the human-annotated data, we also offer large-scale distantly supervised data, which enables DocRED to be adopted for both supervised and weakly supervised scenarios. In order to verify the challenges of document-level RE, we implement recent state-of-the-art methods for RE and conduct a thorough evaluation of these methods on DocRED. Empirical results show that DocRED is challenging for existing RE methods, which indicates that document-level RE remains an open problem and requires further efforts. Based on the detailed analysis on the experiments, we discuss multiple promising directions for future research.

연구 동기 및 목표

• 위키피디아와 위키데이터에서 대규모의 수작업 주석 데이터셋을 제공하여 문서 수준 관계 추출에 대한 동기를 부여하고 이를 가능하게 한다.
• 최신 모델에 대해 문서 수준 RE가 문장 수준 RE보다 훨씬 더 어려움을 보여준다.
• 다양한 학습 패러다임을 지원하기 위해 감독 데이터와 원거리 주석 데이터를 모두 제공한다.
• 추론 유형, 근거 증거 및 모델의 한계를 분석하여 향후 연구를 돕는다.
• 더 강력한 문서 수준 RE 방법의 개발을 촉진하기 위해 벤치마크와 기준선을 제공한다.

제안 방법

• 영문 Wikipedia와 Wikidata에서 네 단계의 인간 주석으로 DocRED를 구성: 원거리 주석 후보 생성, 명명 엔터티 및 응집(coreference) 주석, 엔터티 연결, 그리고 근거가 있는 관계 주석.
• 다양한 도메인에 걸친 96개 관계 유형과 5,053문서에 걸친 132,375개의 관계 사실을 제공한다.
• 위키피디아를 위키데이터와 정렬하고 인간 주석 데이터로 미세조정된 BERT로 엔터티를 재식별하여 대규모 원거리 주석 데이터셋을 생성한다.
• 기존의 문장 수준 RE 모델을 문서 수준 RE에 맞게 조정하고 감독 학습 및 약지도 설정에서 평가한다.
• 훈련/검증/테스트 중첩 편향을 완화하기 위해 F1 및 AUC를 사용하여 평가한다.
• 엔터티 유형, 핵심지칭 및 거리 특성이 성능에 미치는 영향을 이해하기 위한 신경망 기반 분석 및 특징 소거(ablations) 분석을 제공한다.

실험 결과

연구 질문

• RQ1 대규모의 다양하고 인간 주석이 달린 데이터셋으로 평가했을 때 문서 수준 RE가 문장 수준 RE에 비해 난이도가 어떻게 다른가?
• RQ2 기존의 RE 모델을 문서 수준 작업에 효과적으로 적용할 수 있는가, 한계는 무엇인가?
• RQ3 원거리 주석 데이터가 문서 수준 RE 성능과 신뢰도에 미치는 영향은 무엇인가?
• RQ4 문서 수준 관계를 추출하는 데 필요한 추론의 유형은 무엇이며, 이를 다루도록 모델을 어떻게 설계할 수 있는가?
• RQ5 추출된 관계에 대한 근거 증거를 모델이 얼마나 잘 예측할 수 있는가?

주요 결과

모델	Dev Ign F1	Dev Ign AUC	Dev F1	Dev AUC	Test Ign F1	Test Ign AUC	Test F1	Test AUC
CNN	41.58	36.85	43.45	39.39	40.33	36.24	42.26	38.91
LSTM	48.44	46.62	50.68	49.48	47.71	46.27	50.07	49.25
BiLSTM	48.87	47.61	50.94	50.26	48.78	47.61	51.06	50.43
Context-Aware	48.94	47.22	51.09	50.17	48.40	46.54	50.70	49.64
CNN (W)	33.24	23.17	42.76	37.99	32.33	21.83	42.00	36.84
LSTM (W)	39.37	22.39	49.92	42.79	38.27	21.74	48.88	41.35
BiLSTM (W)	41.44	23.21	51.72	44.44	39.15	22.14	49.80	42.87
Context-Aware (W)	40.47	22.56	51.39	43.00	39.16	21.58	50.12	41.51

• DocRED는 기존의 RE 데이터셋보다 크며 상당 부분의 관계에 대해 다문장 추론이 필요하다.
• 대부분의 관계(61.1%)가 단순 패턴 매칭을 넘어서는 추론을 필요로 하며, 논리적 추론, 핵심지칭, 상식 추론이 일반적으로 필요하다.
• 인간 성능이 현 모델을 크게 앞지르는 편이므로 문서 수준 RE에서 상당한 개선 여지가 있음을 시사한다.
• 맥락적이고 장거리 인코딩(BiLSTM 기반 아키텍처)이 일반적으로 CNN보다 우수하지만 어느 한 모델이 분명히 우세하다고 보긴 어렵고, 문장 간 추론이 더 필요함을 강조한다.
• 원거리 주석은 데이터 확장을 도와주지만 라벨 노이즈를 유발하며, 인간 주석 데이터로 학습한 모델이 일반적으로 원거리 주석 데이터로 학습한 모델보다 더 우수하다.
• 관계에 대한 근거 증거를 신경망 예측기로 예측하는 것이 가능하고 해석성을 높이지만 여전히 도전적이다.