[논문 리뷰] Entity Concept-enhanced Few-shot Relation Extraction

Shan Yang, Yongfei Zhang외 3명|arXiv (Cornell University)|2021. 06. 04.

Topic Modeling참고 문헌 18인용 수 4

한 줄 요약

이 논문은 주어진 관계를 분류하는 데 있어 엔티티 개념을 어텐션 및 융합 메커니즘에 통합함으로써 관계 추출 성능을 향상시키는 새로운 소수 샘플 관계 추출 프레임워크인 ConceptFERE를 제안한다. 문장과 엔티티의 표현을 단어 수준에서 자기 어텐션을 사용해 융합하고, 의미 유사도를 기반으로 각 엔티티당 가장 관련성이 높은 개념을 선택함으로써, FewRel에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 이전 방법보다 5-way 1-shot 설정에서 최대 4.45% 향상된 성능이다.

ABSTRACT

Few-shot relation extraction (FSRE) is of great importance in long-tail distribution problem, especially in special domain with low-resource data. Most existing FSRE algorithms fail to accurately classify the relations merely based on the information of the sentences together with the recognized entity pairs, due to limited samples and lack of knowledge. To address this problem, in this paper, we proposed a novel entity CONCEPT-enhanced FEw-shot Relation Extraction scheme (ConceptFERE), which introduces the inherent concepts of entities to provide clues for relation prediction and boost the relations classification performance. Firstly, a concept-sentence attention module is developed to select the most appropriate concept from multiple concepts of each entity by calculating the semantic similarity between sentences and concepts. Secondly, a self-attention based fusion module is presented to bridge the gap of concept embedding and sentence embedding from different semantic spaces. Extensive experiments on the FSRE benchmark dataset FewRel have demonstrated the effectiveness and the superiority of the proposed ConceptFERE scheme as compared to the state-of-the-art baselines. Code is available at https://github.com/LittleGuoKe/ConceptFERE.

연구 동기 및 목표

• 라벨이 부족한 전문 분야에서의 저자원, 장꼬리 관계 추출 문제를 해결하기 위해.
• 기존의 소수 샘플 관계 추출 모델이 외부 지식 없이 문장과 엔티티 쌍 정보에만 의존하는 한계를 극복하기 위해.
• 외부 지식으로서 간결하고 고수준의 엔티티 개념을 통합하여 관계 분류 성능을 향상시키기 위해.
• 문장에 대한 의미 유사도 기반으로 여러 후보 개념 중 가장 관련성이 높은 개념을 선택하는 메커니즘을 설계하기 위해.
• 문장 임베딩과 개념 임베딩 간의 의미적 격차를 단어 수준의 어텐션 기반 융합을 통해 해소하기 위해.

제안 방법

• 개념-문장 어텐션 모듈은 입력 문장과 각 엔티티의 다수의 후보 개념 간의 의미 유사도를 계산하여 가장 관련성이 높은 개념을 선택한다.
• 자기 어텐션 기반 융합 모듈은 문장과 선택된 개념 임베딩 간의 단어 수준에서 의미적 통합을 수행한다.
• 프레임워크는 소수 샘플 분류를 위한 메트릭 학습 아키텍처를 활용하는 BERT-PAIR 위에 구축된다.
• 개념 임베딩은 사전에 학습되어 있으며, ConceptNet과 Concept Graph에서 가져와 일반화 가능한 추상적 지식을 제공한다.
• 모델은 문장과 선택된 개념의 연결을 BERT 기반 인코더의 입력으로 사용하여 엔드 투 엔드 학습을 수행한다.
• 제거 실험을 통해 개념 선택 및 융합 모듈이 최적 성능을 내기 위해 필수적임을 검증한다.

실험 결과

연구 질문

• RQ1 엔티티 개념은 원시적인 문장과 엔티티 쌍 정보 외에도 소수 샘플 관계 분류에 의미 있고 구분 가능한 신호를 제공할 수 있는가?
• RQ2 단일 엔티티와 연결된 다수의 개념 중에서 상호 모순이 될 수 있는 후보 개념들을 어떻게 필터링하여 관계 예측 작업에 가장 관련성이 높은 개념을 선택할 수 있는가?
• RQ3 문장과 개념 표현 간의 단어 수준 융합이 저자원 소수 샘플 환경에서 일반화 성능을 향상시키는가?
• RQ4 소수 샘플 관계 추출에서 장문의 텍스트 기술(예: Wikidata)을 사용하는 것과 비교해 간결한 개념을 통합하는 것이 어떤가?
• RQ5 개념 기반 개선이 단순 텍스트나 엔티티 기술만을 사용하는 최신 기술 수준 모델보다 성능 향상에 얼마나 기여하는가?

주요 결과

• ConceptFERE는 FewRel 벤치마크에서 5-way 1-shot 설정에서 89.21%의 정확도를 기록하며, 이는 이전 SOTA 모델인 TD-Proto를 4.45%포인트 초월한 성능이다.
• 외부 지식 없이도 가장 강력한 베이스라인인 BERT-PAIR보다 5-way 1-shot 설정에서 6.64%포인트 향상된 성능을 기록했다.
• 제거 실험 결과, 개념-문장 어텐션 모듈과 융합 모듈 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 6%포인트 이상 감소한다.
• 어텐션 및 융합 모듈를 생략한 단순화된 버전의 ConceptFERE도 BERT-PAIR를 초월하여 성능을 기록하였으며, 이는 개념 통합 자체의 가치를 입증한다.
• 성능 향상은 모든 설정에서 일관되게 나타나, 개념 기반 지식이 저샷 시나리오에서 일반화 능력을 향상시킨다는 것을 시사한다.
• 결과적으로, 소수 샘플 관계 추출에서 개념 수준의 지식이 장문의 텍스트 기술보다 더 효과적이고 강건함을 시사한다.