[논문 리뷰] Deep Neural Network Based Relation Extraction: An Overview

Hailin Wang, Ke Qin외 3명|arXiv (Cornell University)|2021. 01. 06.

Topic Modeling참고 문헌 80인용 수 11

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN) 기반 관계 추출(RE)에 대한 종합적인 서베이를 제공하며, 지도 학습 및 원거리 지도 학습 방법을 포함한다. CNN, RNN, GNN 등 DNN 아키텍처가 문장 표현 및 특징 추출에 사용되는 방식을 검토하고, 원거리 지도 학습에서의 노이즈, 어휘에 없는 관계, 문장 간 추론 문제와 같은 과제를 다루며, 향후 연구 방향으로는 전이 학습, 관계 추론, 통합된 관계 프레임워크를 제안한다.

ABSTRACT

Knowledge is a formal way of understanding the world, providing a human-level cognition and intelligence for the next-generation artificial intelligence (AI). One of the representations of knowledge is semantic relations between entities. An effective way to automatically acquire this important knowledge, called Relation Extraction (RE), a sub-task of information extraction, plays a vital role in Natural Language Processing (NLP). Its purpose is to identify semantic relations between entities from natural language text. To date, there are several studies for RE in previous works, which have documented these techniques based on Deep Neural Networks (DNNs) become a prevailing technique in this research. Especially, the supervised and distant supervision methods based on DNNs are the most popular and reliable solutions for RE. This article 1) introduces some general concepts, and further 2) gives a comprehensive overview of DNNs in RE from two points of view: supervised RE, which attempts to improve the standard RE systems, and distant supervision RE, which adopts DNNs to design sentence encoder and de-noise method. We further 3) cover some novel methods and recent trends as well as discuss possible future research directions for this task.

연구 동기 및 목표

• 딥 뉴럴 네트워크 기반 관계 추출(RE) 기법에 대한 체계적이고 최신의 개요를 제공하는 것.
• 성능, 확장성, 도메인 간 적용성 측면에서 지도 학습 및 원거리 지도 학습 방법을 비교하는 것.
• 현재 RE 시스템의 핵심 과제인 원거리 지도 학습에서의 노이즈, 제한된 도메인 적응성, 문장 간 추론 부족을 규명하는 것.
• 전이 학습, 관계 추론, 통합된 관계 프레임워크와 같은 향후 연구 방향을 탐색하여 일반화 능력을 향상시키는 것.
• 동적 지식 기반과 어휘에 없는 관계를 처리하는 데 있어 기존 RE 모델의 한계를 해결하는 것.

제안 방법

• DNN 기반 RE를 두 가지 주요 범주로 분류: 지도 학습과 원거리 지도 학습으로, 각각 데이터 생성 및 학습 전략이 다름.
• RE에서 문장 표현 및 특징 추출에 사용된 주요 신경망 아키텍처—CNN, RNN, LSTM, GRU, GNN—를 검토.
• 엔티티 쌍 주변의 문법적 및 구조적 정보를 포착하기 위해 단어 임베딩과 위치 임베딩의 역할 분석.
• 원거리 지도 학습에서 문장 인코더 설계 및 노이즈 제거 기법을 분석하여 자동 KB 정렬로 인한 레이블 노이즈를 감소.
• 지식 그래프, 엔티티 설명 등 외부 지식의 통합이 RE에서 추론 능력과 일반화 능력을 향상시키는 데 기여하는지 평가.
• 현재 시스템의 문장 내 모델링 한계를 해결하기 위해 문장 간 관계 추출을 위한 프레임워크 제안.

Figure 1: The General Framework of DNN-based RE.

실험 결과

연구 질문

• RQ1 DNN 기반 RE에서 지도 학습과 원거리 지도 학습 방법은 성능, 확장성, 노이즈 처리 측면에서 어떻게 다를까?
• RQ2 RE 작업에서 문장 표현을 향상시키는 데 기여하는 주요 아키텍처 구성 요소와 임베딩 전략는 무엇인가?
• RQ3 DNN 기반 노이즈 제거 기법을 활용해 원거리 지도 학습에서의 노이즈를 효과적으로 완화할 수 있는 방법은 무엇인가?
• RQ4 전이 학습과 외부 지식은 RE 모델의 도메인 적응성과 일반화 능력을 향상시키는 데 어떤 역할을 할 수 있는가?
• RQ5 단일 문장 외부의 장거리 의존성을 포착하기 위해 어떻게 효과적으로 문장 간 관계 추출을 모델링할 수 있는가?

주요 결과

• 지도 학습 방법은 정제된 소규모 데이터셋에서는 높은 정확도를 달성하지만, 주석 비용과 도메인 특이성으로 인해 제한됨.
• 원거리 지도 학습은 최소한의 인간 주석으로 대규모 학습을 가능하게 하지만, 자동 KB 정렬로 인한 높은 노이즈 문제 존재.
• GNN과 어텐션 기반 모델은 관계 분류에 있어 문법적 및 의존 구조를 효과적으로 포착해 뛰어난 성능 보임.
• 위치 임베딩의 사용은 엔티티 간 상대적 위치를 인코딩함으로써 성능 향상에 크게 기여함.
• 현재 모델들은 데이터셋 간 관계 목록의 일관성 부족으로 인해 어휘에 없는 관계를 다루는 데 어려움을 겪음.
• 문장 간 관계 추출은 아직 다루지 않은 분야이지만, 최근 접근법들은 문서 수준의 맥락을 활용해 관계 탐지 성능 향상에 잠재력 있음.

Figure 2: Example of relative distance.