[논문 리뷰] A Comprehensive Survey on Relation Extraction: Recent Advances and New Frontiers

Xiaoyan Zhao, Yang Deng외 7명|arXiv (Cornell University)|2023. 06. 03.

Topic Modeling인용 수 6

한 줄 요약

이 종합 검토는 관계 추출(Relation Extraction, RE) 분야에서 딥러닝과 사전 훈련된 언어 모델(PLMs)에 대한 포괄적인 검토를 제공하며, 기존 방법을 체계화하기 위해 새로운 세 축 분류법(텍스트 표현, 문맥 인코딩, 삼중항 예측)을 도입한다. 저자들은 저자원 및 다국어 RE와 같은 핵심 과제를 분석하고, 시간적 및 진화적 RE와 같은 새로운 연구 영역을 탐색하며, PLMs를 활용한 향후 연구 방향에 대한 통찰을 제공한다.

ABSTRACT

Relation extraction (RE) involves identifying the relations between entities from underlying content. RE serves as the foundation for many natural language processing (NLP) and information retrieval applications, such as knowledge graph completion and question answering. In recent years, deep neural networks have dominated the field of RE and made noticeable progress. Subsequently, the large pre-trained language models have taken the state-of-the-art RE to a new level. This survey provides a comprehensive review of existing deep learning techniques for RE. First, we introduce RE resources, including datasets and evaluation metrics. Second, we propose a new taxonomy to categorize existing works from three perspectives, i.e., text representation, context encoding, and triplet prediction. Third, we discuss several important challenges faced by RE and summarize potential techniques to tackle these challenges. Finally, we outline some promising future directions and prospects in this field. This survey is expected to facilitate researchers' collaborative efforts to address the challenges of real-world RE systems.

연구 동기 및 목표

• 새로운 세 차원 분류법을 통해 관계 추출을 위한 최근 딥러닝 접근법을 체계화하고 분류하는 것.
• 실제 관계 추출 응용에서 발생하는 주요 과제, 특히 저자원, 다국어, 시간적 관계 추출과 같은 문제를 분석하는 것.
• 미래 관계 유형이나 변화하는 관계를 다룰 수 있는 오픈 및 지속적 관계 추출과 같은 새로운 연구 영역을 탐색하는 것.
• 사전 훈련된 언어 모델(PLMs)이 관계 추출 성능 향상에 기여하는 역할과 그 한계를 평가하는 것.
• 강건하고 일반화 가능한 관계 추출 시스템을 구축하기 위한 실용적 통찰과 향후 연구 방향을 제공하는 것.

제안 방법

• 텍스트 표현, 문맥 인코딩, 삼중항 예측의 세 축을 따라 RE 방법을 분류하기 위한 새로운 분류법을 제안한다.
• RE 연구에서 사용되는 기존 데이터셋과 평가 지표를 검토하고 분류한다.
• 파이프라인 기반 및 통합 관계 추출 프레임워크를 분석하며, 스파닝 기반, Seq2Seq, MRC 기반, 시퀀스 레이블링 접근법을 포함한다.
• 멀티플로우 감독 기반 관계 추출과 그 한계(예: 노이즈 있는 레이블링)를 분석하고, 이러한 문제를 완화하기 위한 기법을 논의한다.
• 다국어 관계 추출의 과제를 분석하며, 언어 다양성과 다국어 간 의미 정렬 문제를 다룬다.
• 시간적 및 진화적 관계 추출 패러다임을 탐구하며, 동적 관계 탐지에 적합한 오픈 관계 추출 및 지속적 학습 기법을 포함한다.

실험 결과

연구 질문

• RQ1 기존의 관계 추출을 위한 딥러닝 방법들은 어떻게 체계적으로 분류되고 비교될 수 있는가?
• RQ2 저자원 및 다국어 관계 추출에서 발생하는 주요 과제는 무엇이며, 이를 완화하기 위한 기법은 무엇인가?
• RQ3 사전 훈련된 언어 모델(PLMs)은 관계 추출 시스템의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 현재의 관계 추출 프레임워크는 시간적 및 진화적 관계를 다룰 때 어떤 한계를 지니는가?
• RQ5 확장 가능하고 적응 가능한 관계 추출 시스템을 구축하기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 제안된 분류법은 텍스트 표현, 문맥 인코딩, 삼중항 예측의 세 가지 일관된 차원으로 다양한 RE 방법을 효과적으로 체계화하여 방법론적 발전을 명확히 이해할 수 있도록 한다.
• 통합 RE 접근법은 엔티티 및 관계 추출 간 상호의존성을 잘 포착하여, 특히 겹치는 엔티티나 다중 관계가 존재하는 경우 파이프라인 방법보다 뛰어난 성능을 보인다.
• 저자원 관계 추출은 여전히 주요 과제로 남아 있으며, 멀티플로우 감독 기반 방법은 종종 노이즈 있는 레이블을 유발하지만, 최근 기법들은 더 높은 내구성을 보이고 있다.
• 다국어 관계 추출은 언어 다양성과 단어/구의 모호성으로 인해 제약을 받으며, 더 나은 다국어 간 정렬 및 다국어 PLM 적응 기법이 필요로 한다.
• 시간적 관계 추출은 복잡한 종속성과 부족한 레이블링 데이터로 인해 제한을 받으며, 조건부 추론을 위한 체계화된 프레임워크가 필요로 한다.
• 진화적 관계 추출, 특히 오픈 및 지속적 학습을 포함한 영역은 유망한 연구 영역이지만, 관계 어휘의 표준화 및 지속적 학습에서의 치명적 기억 상실 방지 문제는 여전히 도전 과제로 남아 있다.