[논문 리뷰] Self-Attention Enhanced Selective Gate with Entity-Aware Embedding for Distantly Supervised Relation Extraction

Yang Li, Guodong Long외 5명|arXiv (Cornell University)|2019. 11. 27.

Topic Modeling참고 문헌 26인용 수 7

한 줄 요약

이 논문은 장기적 의존성을 포착하기 위해 자가주의(self-attention)와 조각별 CNN을 통합하고, 엔티티 인식 단어 임베딩을 향상시킨 새로운 경량 신경망 프레임워크인 선택적 게이트(SeG)를 제안한다. 선택적 주의 기반의 집합 메커니즘을 풀링을 갖춘 게이트 메커니즘으로 대체함으로써, SeG는 NYT 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 이전 방법이 주의 모듈의 잘못된 훈련으로 실패하는 한 문장으로 구성된 백에 있어서 뛰어난 성능을 보였다.

ABSTRACT

Distantly supervised relation extraction intrinsically suffers from noisy labels due to the strong assumption of distant supervision. Most prior works adopt a selective attention mechanism over sentences in a bag to denoise from wrongly labeled data, which however could be incompetent when there is only one sentence in a bag. In this paper, we propose a brand-new light-weight neural framework to address the distantly supervised relation extraction problem and alleviate the defects in previous selective attention framework. Specifically, in the proposed framework, 1) we use an entity-aware word embedding method to integrate both relative position information and head/tail entity embeddings, aiming to highlight the essence of entities for this task; 2) we develop a self-attention mechanism to capture the rich contextual dependencies as a complement for local dependencies captured by piecewise CNN; and 3) instead of using selective attention, we design a pooling-equipped gate, which is based on rich contextual representations, as an aggregator to generate bag-level representation for final relation classification. Compared to selective attention, one major advantage of the proposed gating mechanism is that, it performs stably and promisingly even if only one sentence appears in a bag and thus keeps the consistency across all training examples. The experiments on NYT dataset demonstrate that our approach achieves a new state-of-the-art performance in terms of both AUC and top-n precision metrics.

연구 동기 및 목표

• 원거리 감독 관계 추출에서 노이즈가 많은 레이블 문제를 해결하는 것, 특히 백에 문장이 한 개뿐인 경우에 초점을 맞춘다.
• 한 문장으로 구성된 백에서 선택적 주의 기반 메커니즘이 불안정해져 모델 훈련이 어려워지고 성능 저하가 발생하는 문제를 해결한다.
• 상대적 위치와 엔티티 식별 정보를 인코딩하는 엔티티 인식 단어 임베딩을 통합하여 표현 학습을 향상시킨다.
• 조각별 CNN과 병렬 자가주의 기반 메커니즘을 조합하여 더 풍부한 의존성 포착을 위한 문맥 모델링을 향상시킨다.
• 모든 훈련 예제, 특히 한 문장으로 구성된 백에서도 안정적으로 작동하는 강력한 집합 메커니즘—SeG 게이트—를 설계한다.

제안 방법

• 각 단어 임베딩에 헤드 및 테일 엔티티 표현과 상대적 위치 정보를 동적으로 통합하는 엔티티 인식 단어 임베딩 방법을 제안한다.
• 장기적 문맥 의존성을 포착하기 위해 조각별 CNN과 병행하여 적용되는 경량 자가주의 기반 메커니즘을 도입하여 국소적 컨볼루션 특징을 보완한다.
• 풀링을 갖춘 선택적 게이트 메커니즘을 설계하여 문장 수준 표현을 백 수준 표현으로 집계하며, 이는 이전 방법에서 사용된 주의 기반 집합 메커니즘을 대체한다.
• 한 문장만 포함된 백에서도 게이트 메커니즘을 통해 안정적인 백 수준 표현을 생성함으로써 모든 훈련 인스턴스에서 일관된 성능을 확보한다.
• 각 백이 공통된 엔티티 쌍을 포함하는 문장들로 구성되며, 백 수준 레이블이 지식 기반에서 유도되는 다중 인스턴스 학습 프레임워크를 사용한다.
• 자기주의 및 PCNN 모듈의 출력에 대해 최대 풀링(max-pooling)을 적용한 후 게이트에 입력하여 강력한 특징 집합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 게이트 기반 집합 메커니즘이 원거리 감독 관계 추출에서 선택적 주의 기반 메커니즘을 능가할 수 있는가, 특히 한 문장으로 구성된 백에서 성능이 뛰어난가?
• RQ2 엔티티 인식 임베딩이 엔티티 특화 정보와 위치 정보를 인코딩함으로써 관계 추출 성능에 어떤 영향을 미치는가?
• RQ3 조각별 CNN과 결합된 자가주의가 관계 추출에서 문맥 표현을 얼마나 향상시키는가?
• RQ4 제안된 SeG 프레임워크는 선택적 주의 기반 메커니즘이 한 문장에서 불안정해져 실패하는 한 문장으로 구성된 백에서도 높은 성능을 유지하는가?
• RQ5 각 구성 요소(엔티티 인식 임베딩, 자가주의, 게이트 메커니즘)가 전체 모델 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• SeG 프레임워크는 NYT 데이터셋에서 새로운 최신 기술 수준 성능을 달성하였으며, AUC 및 상위-n 정밀도 지표에서 이전 방법을 모두 앞서갔다.
• 한 문장으로 구성된 백에서만 볼 때, SeG는 PCNN+ATT 대비 AUC에서 0.13의 개선을 보이며 가장 일반적이면서 도전적인 케이스에서 뛰어난 안정성을 입증했다.
• 제거 실험(ablation study) 결과에서 자가주의 또는 엔티티 인식 임베딩 구성 요소를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이들의 중요성을 입증했다.
• 사례 연구 결과에서 자가주의 기반 게이트가 모호하거나 복잡한 맥락에서 정확한 분류에 핵심적인 역할을 한다는 점을 확인했다.
• PCNN와 자가주의를 스택 형식으로 구성한 모델(SeG w/ Stack)은 병렬 구성보다 성능이 열 劣하므로, 병렬 통합 방식이 더 효과적임을 시사한다.
• 오류 분석 결과에서 장소 관련 관계에서 잘못 분류되는 경우가 많았으며, 배경 지식의 부족이 원인임을 확인하여 향후 외부 지식 기반 시스템 통합의 잠재적 가능성을 제시했다.