[논문 리뷰] Exploiting Entity BIO Tag Embeddings and Multi-task Learning for Relation Extraction with Imbalanced Data

Wei Ye, Bo Li외 4명|arXiv (Cornell University)|2019. 06. 21.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

이 논문은 관계 추출에서의 데이터 불균형 문제를 해결하기 위해 관계 식별(이元 분류)과 관계 분류(다중 클래스 분류)를 각각 교차 엔트로피 손실과 순위 손실을 사용하여 공동으로 학습하는 다중 작업 학습 프레임워크를 제안한다. 또한 명명된 실체 인식 작업에서 학습된 문자 수준 및 단어 수준의 BIO 태그 임베딩을 입력 표현에 통합함으로써 성능을 향상시켰으며, 기준 모델 대비 ACE 2005 중국어 및 영어 데이터셋에서 10퍼센트 이상의 절대 F1 점수 향상을 달성하였다.

ABSTRACT

In practical scenario, relation extraction needs to first identify entity pairs that have relation and then assign a correct relation class. However, the number of non-relation entity pairs in context (negative instances) usually far exceeds the others (positive instances), which negatively affects a model's performance. To mitigate this problem, we propose a multi-task architecture which jointly trains a model to perform relation identification with cross-entropy loss and relation classification with ranking loss. Meanwhile, we observe that a sentence may have multiple entities and relation mentions, and the patterns in which the entities appear in a sentence may contain useful semantic information that can be utilized to distinguish between positive and negative instances. Thus we further incorporate the embeddings of character-wise/word-wise BIO tag from the named entity recognition task into character/word embeddings to enrich the input representation. Experiment results show that our proposed approach can significantly improve the performance of a baseline model with more than 10% absolute increase in F1-score, and outperform the state-of-the-art models on ACE 2005 Chinese and English corpus. Moreover, BIO tag embeddings are particularly effective and can be used to improve other models as well.

연구 동기 및 목표

• 부정(비관계) 인스턴스가 긍정 인스턴스보다 크게 많아지는 관계 추출에서 극단적인 클래스 불균형 문제를 해결한다.
• 관계 식별과 분류를 위한 공동 학습 프레임워크를 도입하여 불균형 데이터에서의 모델 일반화 능력과 내성 강도를 향상시킨다.
• 엔티티 언급 시퀀스의 구조적 패턴(즉, BIO 태그 임베딩를 통해 캡처된)을 활용하여 입력 표현을 풍부하게 하고, 긍정 및 부정 인스턴스 간의 구분 능력을 향상시킨다.
• BIO 태그 임베딩가 다양한 모델에 적용 가능한 일반적인 특징으로 효과적임을 입증한다.

제안 방법

• 관계 식별(이원 분류)에 교차 엔트로피 손실을, 관계 분류에 순위 손실을 사용하여 공동으로 수행하는 다중 작업 모델을 학습한다.
• 별도의 NER 작업에서 학습된 문자 수준 및 단어 수준의 BIO 태그 임베딩을 관계 추출 모델의 입력 임베딩에 통합한다.
• 공유된 레이어를 통해 두 작업 모두에 적용 가능한 깊은 신경망 아키텍처(예: CNN 또는 RNN 기반)를 사용하여 문장을 인코딩한다.
• 관계 분류 헤드에서 쌍별 순위 손실을 적용하여 모델이 많은 수의 부정 인스턴스에 민감도를 낮춘다.
• ACE 2005 데이터셋에서 엔드 투 엔드로 모델을 미세 조정하며, 평가를 위해 중국어 및 영어 코퍼스를 모두 사용한다.
• 장거리 의존성과 상대적 엔티티 위치를 잘 모델링하기 위해 어텐션 메커니즘과 위치 임베딩을 사용한다.

실험 결과

연구 질문

• RQ1 관계 식별과 관계 분류를 공동으로 학습하는 것이 관계 추출에서 데이터 불균형으로 인한 성능 저하를 완화할 수 있는가?
• RQ2 명명된 실체 인식에서 유도된 BIO 태그 임베딩의 통합이 관계 추출 성능 향상에 얼마나 효과적인가?
• RQ3 불균형 설정에서 관계 분류에 순위 손실을 사용하는 것이 교차 엔트로피 손실보다 성능이 뛰어나게 되는가?
• RQ4 제안된 다중 작업 아키텍처는 ACE 2005 벤치마크에서 최신 기술 모델 대비 F1 점수를 얼마나 향상시키는가?
• RQ5 BIO 태그 임베딩는 다른 관계 추출 모델에 적용 가능한 일반적인 특징 향상 수단으로 일반화될 수 있는가?

주요 결과

• 제안된 다중 작업 모델은 기준 모델 대비 1.5% 절대 F1 점수 향상(61.4%에서 62.9%로)을 기록하여 관계 식별을 위한 공동 학습의 효과성을 입증한다.
• 동일한 다중 작업 설정에서 순위 손실을 사용한 관계 분류가 교차 엔트로피 손실 대비 0.9% 높은 F1 점수(62.9% 대 62.0%)를 기록하여 불균형에 대한 내성 강도 향상이 확인되었다.
• BIO 태그 임베딩의 추가로 인해 성능 향상이 크게 발생하였으며, 기준 모델 대비 ACE 2005 중국어 및 영어 데이터셋에서 10퍼센트 이상의 절대 F1 점수 향상이 이루어졌다.
• 모델은 ACE 2005 벤치마크의 중국어 및 영어 버전 모두에서 최신 기술 모델을 능가하며, 일반화 능력이 뛰어남을 확인하였다.
• 제거 실험 결과, 성능 향상의 주요 원인은 손실 함수 선택이 아니라 관계 식별 작업에서 비롯됨을 확인하였으며, 설계 선택의 타당성을 입증하였다.
• BIO 태그 임베딩는 특히 효과적이며, 다른 모델에 쉽게 통합할 수 있는 일반적인 입력 표현 향상 수단으로 활용 가능하다.