[논문 리뷰] ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning

Yujia Qin, Yankai Lin외 7명|arXiv (Cornell University)|2020. 12. 30.

Topic Modeling참고 문헌 45인용 수 13

한 줄 요약

ERICA는 대체로 언어 모델의 실체와 그 관계에 대한 이해를 향상시키기 위해 대조 학습 프레임워크를 제안한다. 이는 실체 식별과 관계 식별이라는 두 가지 새로운 사전 훈련 작업을 도입함으로써 이루어지며, 마스크된 언어 모델링과 함께 공동 최적화함으로써 BERT와 RoBERTa의 성능을 실체 타이핑, 관계 추출, 질의 응답 등 다양한 NLP 작업에서 크게 향상시킨다. 특히 자원이 제한된 조건에서 두드러진 성능 향상을 보인다.

ABSTRACT

Pre-trained Language Models (PLMs) have shown superior performance on various downstream Natural Language Processing (NLP) tasks. However, conventional pre-training objectives do not explicitly model relational facts in text, which are crucial for textual understanding. To address this issue, we propose a novel contrastive learning framework ERICA to obtain a deep understanding of the entities and their relations in text. Specifically, we define two novel pre-training tasks to better understand entities and relations: (1) the entity discrimination task to distinguish which tail entity can be inferred by the given head entity and relation; (2) the relation discrimination task to distinguish whether two relations are close or not semantically, which involves complex relational reasoning. Experimental results demonstrate that ERICA can improve typical PLMs (BERT and RoBERTa) on several language understanding tasks, including relation extraction, entity typing and question answering, especially under low-resource settings.

연구 동기 및 목표

• 기존의 사전 훈련 목표가 텍스트 내 관계 사실을 명시적으로 모델링하는 데에 한계가 있음을 해결하기 위해.
• 여러 실체 간 상호작용과 문장 간 복잡한 추론 패턴을 포착함으로써 사전 훈련된 언어 모델(PLM)의 실체 및 관계 이해 능력을 향상시키기 위해.
• 다중 힙 추론 및 문맥 기반 실체 표현 능력을 향상시키는 일반화 가능한 프레임워크를 개발하기 위해.
• 관계 사실 추출이 가장 어려운 자원이 제한된 환경에서의 효과성을 입증하기 위해.
• 외부 지식 그래프가 필요 없이 후행 언어 이해 작업의 성능을 향상시키는 대조 학습 기반의 사전 훈련 접근법을 제공하기 위해.

제안 방법

• 주어진 헤드 실체와 관계에서 올바른 테일 실체를 식별하는 실체 식별 작업을 도입하여, 관계적 맥락을 통해 실체 수준의 이해를 향상시킨다.
• 두 관계가 의미적으로 유사한지 분류하는 관계 식별 작업을 제안함으로써, 복잡한 관계 추론 체인을 암묵적으로 모델링한다.
• 문서 수준의 원거리 감독을 사용하여 음성 및 양성 관계 쌍을 구성함으로써, 모델이 관계 간의 의미적 유사성을 학습할 수 있도록 한다.
• 새로운 대조 목표(실체 식별 및 관계 식별)를 표준 마스크된 언어 모델링(MLM)과 결합하여 사전 훈련 중에 사용한다.
• 인스턴스 수준의 음성 예를 사용한 대조 학습을 구현하며, 공통 실체 또는 의미적으로 유사한 관계를 기반으로 양성 쌍을 구성한다.
• 다양한 후행 설정에 대응할 수 있도록 다수의 실체 인코딩 전략(평균 풀링 및 마커 기반 인코딩)을 지원한다.

실험 결과

연구 질문

• RQ1 대조 학습은 사전 훈련된 언어 모델의 맥락 내 실체 및 관계 이해 능력을 향상시키는 데 효과적인가?
• RQ2 제안된 실체 식별 작업이 관계적 맥락을 통해 실체 표현을 향상시키는 데 얼마나 효과적인가?
• RQ3 관계 식별 작업이 관계 간 의미적 유사성을 포착하고 다중 힙 추론을 지원하는 데 얼마나 기여하는가?
• RQ4 ERICA는 다양한 실체 인코딩 방법과 후행 작업에 대해 일반화되는가?
• RQ5 ERICA는 표준 미세조정 및 기준 모델 대비 자원이 제한된 환경에서 어떻게 성능을 발휘하는가?

주요 결과

• ERICA는 관계 추출, 실체 타이핑, 질의 응답 등 다양한 NLP 작업에서 BERT와 RoBERTa의 성능을 향상시키며, DocRED 벤치마크에서 일관된 성능 향상을 보였다.
• DocRED의 1% 훈련 데이터 분할에서, 표준 BERT 대비 F1 점수는 30.4에서 38.5로 11.4점 향상되었고, IgF1 점수는 28.9에서 36.3으로 7.4점 향상되었다.
• 100% 훈련 데이터를 사용할 경우, ERICA는 DocRED에서 F1 점수 58.2와 IgF1 점수 55.9를 기록하여 표준 BERT 및 기타 기준 모델을 초월했다.
• 대규모 사전 훈련 환경에서는 실체 마커 인코딩 전략이 평균 풀링보다 높은 성능을 보였지만, 자원이 제한된 환경에서는 평균 풀링 전략이 더 우수한 성능을 보였다.
• t-SNE 시각화 결과, 표준 BERT에 비해 ERICA가 실체 및 관계에 대해 더 조밀하고 의미적으로 유의미한 클러스터를 학습하는 것으로 확인되었다.
• 다양한 실체 인코딩 방법에 대해 프레임워크가 강건하며, 표현 전략에 관계없이 일관된 성능 향상을 보였다.