[논문 리뷰] An Improved Baseline for Sentence-level Relation Extraction

Wenxuan Zhou, Muhao Chen|arXiv (Cornell University)|2021. 02. 02.

Topic Modeling참고 문헌 23인용 수 49

한 줄 요약

이 논문은 문장 수준 관계 추출을 향상시키기 위해 타입 엔티티 표식(type markers)을 제안하고 RoBERTa-LARGE를 사용한 punct-based typed markers에서 Re-TACRED에서 91.1%를 포함하여 TACRED, TACREV, Re-TACRED에서 최첨단 F1 점수를 달성한다.

ABSTRACT

Sentence-level relation extraction (RE) aims at identifying the relationship between two entities in a sentence. Many efforts have been devoted to this problem, while the best performing methods are still far from perfect. In this paper, we revisit two problems that affect the performance of existing RE models, namely entity representation and noisy or ill-defined labels. Our improved RE baseline, incorporated with entity representations with typed markers, achieves an F1 of 74.6% on TACRED, significantly outperforms previous SOTA methods. Furthermore, the presented new baseline achieves an F1 of 91.1% on the refined Re-TACRED dataset, demonstrating that the pretrained language models (PLMs) achieve high performance on this task. We release our code to the community for future research.

연구 동기 및 목표

• 엔티티 표현이 문장 수준 RE 성능에 미치는 영향을 강조한다.
• 타입 엔티티 표식이 다른 엔티티 표현 기법과 비교되는 방식을 조사한다.
• TACRED, TACREV, 및 Re-TACRED 데이터셋에서 향상된 baseline을 평가한다.
• 레이블 노이즈 및 보이지 않는 엔티티에 대한 강건성을 평가한다.

제안 방법

• 문장 수준 RE를 PLM에서 주체 및 목적 엔티티 임베딩을 사용하는 분류기로 형식화한다.
• 입력에 NER 타입을 포함하는 타입 엔티티 표식을 포함하여 다양한 기법으로 엔티티를 표현한다.
• 최고 성능의 엔티티 표현을 RoBERTa-LARGE 백본에 통합하고 엔드투엔드로 파인튜닝한다.
• TACRED, TACREV, 및 Re-TACRED 데이터셋 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 다른 엔티티 표현 기법이 문장 수준 RE 성능에 어떤 영향을 미치는가?
• RQ2 타입 엔티티 표식이 비타입 마커나 마스크보다 RE 정확도를 높일 수 있는가?
• RQ3 개선된 baseline은 이전 SOTA 방법과 비교하여 TACRED, TACREV, 및 Re-TACRED에서 어떤 성능을 보이는가?
• RQ4 레이블이 노이즈가 많거나 엔티티가 미지일 때도 이 접근법의 강건성이 유지되는가?

주요 결과

모델	TACRED (F1)	TACREV (F1)	Re-TACRED (F1)
RoBERTa-LARGE + typed entity marker (punct)	74.6	83.2	91.1
BERT-BASE + typed entity marker	71.5	79.3	87.9
BERT-LARGE + typed entity marker	72.9	81.3	89.7

• Typed entity markers (punct) with RoBERTa-LARGE achieve 74.6% F1 on TACRED, 83.2% on TACREV, and 91.1% on Re-TACRED.
• Typed entity markers consistently outperform entity masks and non-typed markers across encoders.
• The improved baseline with typed entity markers sets new SOTA on TACRED, TACREV, and Re-TACRED (RoBERTa-LARGE + typed marker (punct)).
• On the clean TACRED test set, gains from typed markers are smaller than on TACRED/TACREV, indicating label noise effects in TACRED-derived datasets.
• The study demonstrates that PLMs can achieve high RE performance when entity type information is effectively integrated into input representations.
• The authors provide evidence that entity names can aid generalization to unseen entities when using typed markers.