[논문 리뷰] An Overview of Distant Supervision for Relation Extraction with a Focus on Denoising and Pre-training Methods

William J. Hogan|arXiv (Cornell University)|2022. 07. 17.

Topic Modeling인용 수 4

한 줄 요약

이 종합 검토는 관계 추출에서 원거리 지도 학습에 대해 노이즈 제거 및 사전 훈련 방법에 중점을 두고 있다. Fine-grained Contrastive Learning (FineCL)를 소개하며, 훈련 인스턴스의 학습 순서를 활용하여 대비 학습 중에 먼저 학습된, 더 가능성 있는 올바른 인스턴스에 더 높은 가중치를 주어 관계 표현을 향상시키는 방법을 제안한다. 이는 DocRED, TACRED, SemEval 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

Relation Extraction (RE) is a foundational task of natural language processing. RE seeks to transform raw, unstructured text into structured knowledge by identifying relational information between entity pairs found in text. RE has numerous uses, such as knowledge graph completion, text summarization, question-answering, and search querying. The history of RE methods can be roughly organized into four phases: pattern-based RE, statistical-based RE, neural-based RE, and large language model-based RE. This survey begins with an overview of a few exemplary works in the earlier phases of RE, highlighting limitations and shortcomings to contextualize progress. Next, we review popular benchmarks and critically examine metrics used to assess RE performance. We then discuss distant supervision, a paradigm that has shaped the development of modern RE methods. Lastly, we review recent RE works focusing on denoising and pre-training methods.

연구 동기 및 목표

• 패턴 기반에서 대규모 언어 모델 기반 접근법으로의 관계 추출(RE) 방법의 발전을 종합적으로 개괄하는 것.
• 기존의 RE 방법의 한계를 분석하는 것, 특히 패턴 기반 시스템의 낮은 재현율과 통계 모델의 데이터 부족 문제.
• 지식 그래프와 비정형 텍스트를 활용하여 대규모, 약한 지도 학습 기반의 관계 추출을 가능하게 하는 원거리 지도 학습의 역할을 고찰하는 것.
• 원거리 지도 학습 기반의 관계 추출에서 노이즈 제거 및 사전 훈련 기법의 최근 발전이 견고성과 성능 향상에 어떻게 기여하는지 조사하는 것.
• 훈련 동역학을 활용하여 관계 표현 학습을 향상시키는 데에 Fine-grained Contrastive Learning (FineCL)의 효과를 평가하는 것.

제안 방법

• FineCL는 교차 엔트로피 손실을 통해 원거리 지도 학습 데이터로 사전 훈련된 오프더쇼프 언어 모델(예: RoBERTa)을 사용한다.
• 이 방법은 관계 인스턴스가 처음으로 정확하게 예측된 훈련 순서를 기록하며, 이는 초기에 학습된 인스턴스가 더 정확한 레이블을 가진 것으로 간주한다.
• 학습 순서에 기반한 인스턴스별 가중치를 계산하여, 먼저 학습된 인스턴스(예상되는 더 깨끗한 데이터)에 더 높은 가중치를 할당한다.
• 이러한 인스턴스 가중치는 의미적으로 유사한 관계들이 군집화되도록 유도하는 대비 학습 손실 함수를 조정하는 데 사용된다.
• 결과적으로 대비 목표 함수는 사전 훈련 단계 동안 관계 표현의 품질을 향상시킨다.
• 최종 모델은 사전 훈련 단계에서 확보한 향상된 표현을 기반으로 골드 레이블이 부여된 데이터셋에 대해 피니튜닝된다.

실험 결과

연구 질문

• RQ1 원거리 지도 학습 기반 관계 추출에서 훈련 인스턴스의 학습 순서와 레이블 정확도 사이에 어떤 상관관계가 있는가?
• RQ2 훈련 동역학을 기반으로 한 세밀한 감독 기법이 자원이 제한된 환경에서 관계 표현 학습을 향상시킬 수 있는가?
• RQ3 대비 사전 훈련에 인스턴스의 학습 순서를 통합할 경우, 하류 관계 추출 벤치마크에서 성능 향상은 어느 정도 이루어지는가?
• RQ4 노이즈 제거 및 사전 훈련 기법은 원거리 지도 학습 기반 관계 추출 데이터의 노이즈를 어떻게 완화하는가?
• RQ5 기존의 사전 훈련 및 노이즈 제거 기반 베이스라인 대비 FineCL의 비교 성능은 어떠한가?

주요 결과

• FineCL는 100% 훈련 데이터를 사용할 때 DocRED 테스트 세트에서 최고 성능을 기록하며, F1-micro 스코어가 59.5%로, RoBERTa 및 ERICA를 포함한 모든 베이스라인을 초월한다.
• TACRED 데이터셋에서 FineCL는 100% 훈련 데이터를 사용할 때 F1-micro 스코어 70.3%를 기록하며, 이는 다음으로 우수한 베이스라인(ERICA RoBERTa)보다 0.8점 높다.
• SemEval-2010 Task 8에서 FineCL는 100% 데이터를 사용할 때 F1-micro 스코어 88.7%를 기록하며, 최고의 베이스라인(ERICA RoBERTa)을 0.9점 초월한다.
• 모든 벤치마크에서 1%, 10%, 100% 데이터 설정 전반에 걸쳐 일관된 성능 향상이 나타나, 데이터 부족 상황에서도 강건함을 입증한다.
• 대비 학습에 학습 순서 기반 가중치를 적용함으로써 일반화 능력이 향상되며, 특히 데이터가 적은 환경에서 두드러진다.
• 초기 학습과 레이블 정확도 사이의 상관관계는 실험적으로 검증되었으며, 이는 FineCL의 핵심 가정을 뒷받침한다.