[논문 리뷰] WebRED: Effective Pretraining And Finetuning For Relation Extraction On The Web

Róbert Ormándi, Mohammad Saleh외 2명|arXiv (Cornell University)|2021. 02. 18.

Natural Language Processing Techniques참고 문헌 27인용 수 7

한 줄 요약

WebRED는 웹 텍스트에서 유도된 약 110만 개의 강한 지도 학습 예제와 함께 약 2억 개의 약한 지도 학습 사전 훈련 예제를 제공하는 대규모이고 다양한 인간 레이블링 관계 추출 데이터셋을 소개한다. 본 논문은 사전 훈련 단계에서 약한 지도 학습 데이터를 사용한 후, 고품질의 인간 레이블링 데이터를 기반으로 미세 조정하는 전략이 F1 점수를 크게 향상시키며, 원거리 지도 학습 또는 초기 상태에서 훈련하는 모델보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Relation extraction is used to populate knowledge bases that are important to many applications. Prior datasets used to train relation extraction models either suffer from noisy labels due to distant supervision, are limited to certain domains or are too small to train high-capacity models. This constrains downstream applications of relation extraction. We therefore introduce: WebRED (Web Relation Extraction Dataset), a strongly-supervised human annotated dataset for extracting relationships from a variety of text found on the World Wide Web, consisting of ~110K examples. We also describe the methods we used to collect ~200M examples as pre-training data for this task. We show that combining pre-training on a large weakly supervised dataset with fine-tuning on a small strongly-supervised dataset leads to better relation extraction performance. We provide baselines for this new dataset and present a case for the importance of human annotation in improving the performance of relation extraction from text found on the web.

연구 동기 및 목표

• 소음이 많은 레이블(원거리 지도 학습), 도메인 특이성, 또는 규모의 제한으로 인해 기존의 관계 추출 데이터셋이 약점을 노출함을 해결하기 위해.
• 실제 웹 텍스트를 기반으로 다양한 도메인과 글쓰기 스타일을 포함한 대규모이고 다양한 고품질의 인간 레이블링 데이터셋을 구축하기 위해.
• 대규모 약한 지도 학습 사전 훈련과 소규모 고품질 인간 레이블링 데이터셋을 기반으로 한 미세 조정 전략이 관계 추출 성능을 향상시키는지 입증하기 위해.
• 강한 지도 학습이 거짓 양성 예측를 줄이고 모델의 정밀도와 일반화 능력을 향상시키는 데 중요한 이유를 경험적으로 입증하기 위해.

제안 방법

• 위키데이터 속성을 활용한 원거리 지도 학습을 통해 웹 텍스트에서 약 2억 개의 약한 지도 학습 예제를 수집하여 대규모 사전 훈련을 가능하게 한다.
• 다양한 웹 소스에서 문장을 선별하고, 위키데이터 속성의 일부를 활용해 인간이 실수로 엔티티-관계 쌍을 레이블링하여 약 110만 개의 인간 레이블링 예제로 구성된 데이터셋을 구축한다.
• 각 예제가 (태깅된 문장, 관계 유형) 쌍인 다중 클래스 분류 프레임워크를 사용하며, 엔티티는 명시적으로 #{SUBJ}와 #{OBJ}로 표시한다.
• 두 단계 파이프라인을 사용하여 모델을 훈련한다: 먼저 약한 지도 학습 데이터셋(WebRED_DS)에서 사전 훈련하고, 그 후 인간 레이블링 서브셋(WebRED_H2+1)에서 미세 조정한다.
• 입력 표현이 문장과 엔티티 역할을 모두 인코딩하는 BERT 스타일의 트랜스포머 모델을 사용하여 관계 분류를 수행한다.
• 저품질의 약한 레이블을 제거하고 사전 훈련 데이터의 고도의 레이블 일관성을 확보하기 위해 후처리 및 필터링을 적용한다.

실험 결과

연구 질문

• RQ1 대규모 약한 지도 학습 사전 훈련과 소규모 고품질 인간 레이블링 데이터셋을 기반으로 한 미세 조정 전략을 결합한 하이브리드 훈련 전략이, 단독으로 약한 지도 학습 데이터나 원거리 지도 학습 데이터만을 사용한 훈련 전략보다 관계 추출 성능을 향상시키는가?
• RQ2 지도 학습의 품질(원거리 대비 인간 레이블링)이 다양한 관계 유형에 따라 모델의 정밀도, 재현율, F1 점수에 어떤 영향을 미치는가?
• RQ3 관계 유형 간 데이터 불균형이 모델 성능에 미치는 영향은 어느 정도이며, 사전 훈련이 이 문제를 어떻게 완화하는가?
• RQ4 사전 훈련 데이터의 문장 길이와 관계 빈도가 관계 추출 모델의 일반화 능력과 내구성에 어떤 영향을 미치는가?
• RQ5 원거리 지도 학습에서의 레이블 정확도(즉, 오류 발생률)가 최종 모델 성능에 어떤 영향을 미치며, 인간 레이블링은 이를 어떻게 보완하는가?

주요 결과

• 약 2억 개의 약한 지도 학습 예제에서 사전 훈련한 모델을 소규모 고품질 인간 레이블링 데이터셋(110만 개)으로 미세 조정하면, 초기 상태에서 훈련하거나 약한 지도 학습만으로 훈련한 모델보다 F1 점수가 유의미하게 높아진다.
• 인간 레이블링 데이터로 미세 조정한 모델은 '국가' 관계에서 정밀도 0.81, 재현율 0.58을 기록했으며, 사전 훈련 전용 모델은 정밀도 0.58, 재현율 0.63을 기록하여 더 나은 부정 예제 품질로 인해 정밀도가 향상됨을 확인했다.
• '외교 관계'와 같이 오류 발생률이 높은 관계(99%)의 경우, 미세 조정된 모델은 F1 점수 1.00을 기록했지만, 사전 훈련 전용 모델은 F1 점수 0.01에 머물렀다. 이는 강한 지도 학습이 노이즈가 많은 레이블을 수정하는 데 핵심적인 역할을 함을 보여준다.
• 문장 길이가 길어질수록 성능이 저하되지만, 사전 훈련 및 미세 조정된 모델은 모든 문장 길이에서 유의미하게 높은 F1 점수를 유지하며, 특히 긴 문장에서 뛰어난 성능을 보였다.
• 사전 훈련 빈도가 높은 관계는 더 좋은 성능을 기록하지만, 일정 수준 이상에서는 성능 향상이 정체됨을 확인했으며, 이는 최적의 모델 일반화를 위해 데이터 균형 조절이 필수적임을 시사한다.
• 인간 레이블링 데이터만으로 훈련한 모델은 '배우자' 관계에서 재현율 0.58을 기록했지만, 사전 훈련 및 미세 조정된 모델은 재현율 0.86을 기록했으며, 이는 고품질 데이터로의 미세 조정조차도 대규모 약한 데이터에서의 사전 훈련이 커버리지 확보에 필수적임을 확인한다.