[논문 리뷰] Revisiting DocRED -- Addressing the False Negative Problem in Relation Extraction

Qingyu Tan, Lu Xu외 3명|arXiv (Cornell University)|2022. 05. 25.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 문서 수준 관계 추출에서 퍼지게 퍼진 가짜 음성 문제를 다루기 위해 반복적인 인간-기계 협업 과정을 통해 4,053개의 문서를 재표기하여 개선된 데이터셋인 Re-DocRED를 제작한다. Re-DocRED에서 훈련 및 평가된 모델은 원본 DocRED 대비 13 F1점의 성능 향상을 달성하며, 이는 부적절한 표기로 인해 모델 성능이 심각하게 저하됨을 보여준다.

ABSTRACT

The DocRED dataset is one of the most popular and widely used benchmarks for document-level relation extraction (RE). It adopts a recommend-revise annotation scheme so as to have a large-scale annotated dataset. However, we find that the annotation of DocRED is incomplete, i.e., false negative samples are prevalent. We analyze the causes and effects of the overwhelming false negative problem in the DocRED dataset. To address the shortcoming, we re-annotate 4,053 documents in the DocRED dataset by adding the missed relation triples back to the original DocRED. We name our revised DocRED dataset Re-DocRED. We conduct extensive experiments with state-of-the-art neural models on both datasets, and the experimental results show that the models trained and evaluated on our Re-DocRED achieve performance improvements of around 13 F1 points. Moreover, we conduct a comprehensive analysis to identify the potential areas for further improvement. Our dataset is publicly available at https://github.com/tonytan48/Re-DocRED.

연구 동기 및 목표

• 문서 수준 관계 추출 분야의 벤치마크 평가 신뢰도를 해칠 수 있는 원본 DocRED 데이터셋 내 광범위한 가짜 음성 문제를 특정하고 해결하기 위해.
• 초기 원거리 감시 및 표기 과정에서 누락된 관계 트리플을 복구함으로써 DocRED의 관계 표기 완전성 향상하기 위해.
• 문서 내 관계의 진정한 분포를 보다 잘 반영하는 고품질의 개선된 벤치마크 데이터셋(Re-DocRED) 제공하기 위해.
• 테스트 세트가 가능한 한 완전하도록 보장함으로써 최신 관계 추출 모델의 공정하고 신뢰할 수 있는 평가를 가능하게 하기 위해.

제안 방법

• 다수의 최신 문서 수준 RE 모델이 각 문서의 관계 후보를 먼저 생성한 후, 반복적인 인간-기계 협업 표기 과정을 수행하였다.
• 인간 표기자가 모델이 추천한 관계 트리플을 검토하고 검증하였으며, 원본 DocRED에 존재하지 않는 누락된 관계를 복구하는 데 집중하였다.
• 특히 텍스트에 증거가 존재하지만 Wikidata 지문 기반 지식베이스(KB)에 존재하지 않는 관계를 높은 모델 신뢰도로 식별한 문서를 우선순위로 삼았다.
• 개선된 데이터셋인 Re-DocRED는 원본 DocRED 대비 거의 두 배에 가까운 관계 트리플을 포함하고 있으며, 주로 Wikidata KB의 누락과 인간 표기 갭을 시정하는 데 중점을 두었다.
• 최신 모델을 사용하여 DocRED와 Re-DocRED 양쪽에서 광범위한 추론 및 비교 실험을 수행하여 표기 품질 향상의 영향을 검증하였다.

실험 결과

연구 질문

• RQ1 원본 DocRED 데이터셋 내 가짜 음성 오류의 범위와 영향은 어떠한가? 이는 모델 평가 및 성능에 어떤 영향을 미치는가?
• RQ2 모델이 추천한 트리플을 인간-기계 협업 방식으로 재표기함으로써 문서 수준 관계 추출에서의 가짜 음성 문제를 어느 정도 완화할 수 있는가?
• RQ3 Re-DocRED와 같이 더 완전한 개선된 데이터셋에서 훈련 및 평가할 경우 최신 관계 추출 모델의 성능은 어떻게 변화하는가?
• RQ4 DocRED 내 가짜 음성의 주요 원인은 무엇이며, 이는 Wikidata의 희박성과 추천-수정 표기 체계의 한계에서 비롯되는가?

주요 결과

• 원본 DocRED 데이터셋은 심각한 가짜 음성 문제를 앓고 있으며, 특히 Wikidata에 존재하지 않는 관계 트리플들이 표기 과정에서 누락되는 경향이 있다.
• 개선된 데이터셋인 Re-DocRED는 원본 DocRED 대비 거의 두 배에 가까운 관계 트리플을 포함하고 있어 표기 완전성이 크게 향상되었다.
• Re-DocRED에서 훈련 및 평가된 모델은 원본 DocRED에서의 성능 대비 평균 F1 점수 13점 향상을 달성하였다.
• Re-DocRED에서 모델 간 성능 격차가 줄어들어, 개선된 벤치마크가 진정으로 모델의 일반화 능력을 반영함을 시사한다.
• 오류 분석 결과, 많은 가짜 음성은 Wikidata 항목의 누락에서 기인하며, 특히 음악 관련 문서에서 '제작자'와 같은 관계는 문맥적으로 추론 가능하지만 지문 기반 지식베이스에 연결되어 있지 않다.
• 본 연구는 불완전한 평가 세트가 모델 평가의 정의를 흐트리며, 높은 품질의 인간 검증 기반 벤치마크가 문서 수준 관계 추출 분야의 신뢰할 수 있는 발전을 위해 필수적임을 입증한다.