[논문 리뷰] Simple BERT Models for Relation Extraction and Semantic Role Labeling

Peng Shi, Jimmy Lin|arXiv (Cornell University)|2019. 04. 10.

Natural Language Processing Techniques참고 문헌 23인용 수 194

한 줄 요약

이 논문은 외부 어휘적 또는 구문적 특징 없이도 최첨단 또는 강력한 결과를 달성하는 간단한 BERT 기반 관계 추출 및 시맨틱 역할 라벨링 모델을 보여준다.

ABSTRACT

We present simple BERT-based models for relation extraction and semantic role labeling. In recent years, state-of-the-art performance has been achieved using neural models by incorporating lexical and syntactic features such as part-of-speech tags and dependency trees. In this paper, extensive experiments on datasets for these two tasks show that without using any external features, a simple BERT-based model can achieve state-of-the-art performance. To our knowledge, we are the first to successfully apply BERT in this manner. Our models provide strong baselines for future research.

연구 동기 및 목표

• BERT 기반 모델이 언어학적 특징 없이도 관계 추출 및 SRL에서 강력한 성능을 달성할 수 있음을 시연한다.
• BERT에 기반한 단순하고 엔터티 인식 및 술어 인식 아키텍처를 제안한다.
• 향후 연구를 위한 경쟁력 있는 기준선을 확립하기 위해 표준 벤치마크에서 평가한다.

제안 방법

• 관계 추출을 위해 엔터티 언급을 마스크로 대체하여 BERT로 문장을 인코딩하고 엔터티 인식 입력을 생성한다.
• 주어/목적에 대한 위치 임베딩과 함께 BERT 컨텍스트 임베딩을 연결하고 BiLSTM과 MLP를 통해 관계 예측을 수행한다.
• SRL의 경우 BERT 표현에 술어 설치(indicator) 임베딩을 추가하고 BiLSTM과 MLP를 사용해 인자 라벨링을 수행한다.
• 단일 프레임워크 내에서 술어 인식 입력 시퀀스와 BIO 태깅을 사용하여 span 기반 및 의존성 기반 SRL을 통합한다.
• 표준 데이터셋(TACRED for RE; CoNLL 2005/2012, 2009 for SRL)을 사용해 평가하고 최첨단 모델과 비교한다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델이 외부 언어학적 특징 없이도 관계 추출에서 최첨단 성능을 달성할 수 있는가?
• RQ2 BERT 위에 구축된 간단한 아키텍처가 span 기반 및 의존성 기반 형식 모두에 대해 시맨틱 역할 라벨링을 효과적으로 처리할 수 있는가?
• RQ3 엔터티/술어 마스킹 및 지시자 임베딩이 작업 성능에 어떤 영향을 미치는가?

주요 결과

• TACRED에서 간단한 아키텍처를 갖춘 BERT 기반 모델이 다수의 특징이 풍부한 벤치마크를 능가한다.
• BERT-LSTM-base는 TACRED 테스트에서 73.3 P, 63.10 R, 67.8 F1로 이전 단일 모델 방법과 비교해 우수한 성능을 보인다.
• BERT-LSTM-large 및 그 변형은 SRL 작업에서 강력한 결과를 달성하며 종종 언어학적 특징 없이도 기존 벤치마크를 능가한다.
• SRL 의존성 기반 결과에서는 BERT-LSTM-large가 엔드 투 엔드 평가에서 이전 최첨단 방법에 비해 유의미한 F1 향상을 보인다.