[논문 리뷰] Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction

Yan Xiao, Yaochu Jin외 2명|arXiv (Cornell University)|2020. 03. 10.

Topic Modeling참고 문헌 42인용 수 6

한 줄 요약

이 논문은 자동 관계 추출에서 발생하는 노이즈 레이블 문제를 해결하기 위해 원거리 감독 관계 추출(DSRE)을 위한 하이브리드 어텐션 기반 트랜스포머 블록 모델을 제안한다. 단어 수준의 특징 추출을 위한 멀티헤드 자기어텐션과 백 표현을 집계하기 위한 문장 수준의 어텐션 메커니즘을 결합함으로써, NYT 데이터셋에서 관계 분류 정확도가 향상되어 최신 기술을 초월한다.

ABSTRACT

With an exponential explosive growth of various digital text information, it is challenging to efficiently obtain specific knowledge from massive unstructured text information. As one basic task for natural language processing (NLP), relation extraction aims to extract the semantic relation between entity pairs based on the given text. To avoid manual labeling of datasets, distant supervision relation extraction (DSRE) has been widely used, aiming to utilize knowledge base to automatically annotate datasets. Unfortunately, this method heavily suffers from wrong labelling due to the underlying strong assumptions. To address this issue, we propose a new framework using hybrid attention-based Transformer block with multi-instance learning to perform the DSRE task. More specifically, the Transformer block is firstly used as the sentence encoder to capture syntactic information of sentences, which mainly utilizes multi-head self-attention to extract features from word level. Then, a more concise sentence-level attention mechanism is adopted to constitute the bag representation, aiming to incorporate valid information of each sentence to effectively represent the bag. Experimental results on the public dataset New York Times (NYT) demonstrate that the proposed approach can outperform the state-of-the-art algorithms on the evaluation dataset, which verifies the effectiveness of our model for the DSRE task.

연구 동기 및 목표

• 지식 기반을 이용한 자동 레이블링에서 잘못된 가정으로 인해 발생하는 원거리 감독 관계 추출(DSRE)의 노이즈 레이블 문제를 해결하기 위해.
• 새로운 트랜스포머 기반 아키텍처를 통해 깊이 있는 문맥 표현을 활용하여 관계 추출 성능을 향상시키기 위해.
• 다중 인스턴스 학습을 어텐션 메커니즘과 통합하여 문장 백의 표현을 더 잘 모델링하고 모델의 일반화 능력을 향상시키기 위해.
• 공개된 뉴욕 타임스(NYT) 데이터셋에서 관계 추출 분야에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 단어 수준에서 멀티헤드 자기어텐션을 통해 문법적 및 의미적 특징을 캡처하기 위해 트랜스포머 블록을 문장 인코더로 사용한다.
• 개별 문장 표현을 압축된 백 수준 표현으로 집계하기 위해 문장 수준의 어텐션 메커니즘을 적용한다.
• 다중 인스턴스 학습을 활용하여 다수의 문장(백) 간의 관계를 모델링하고, 가장 정보가 많은 인스턴스에 집중한다.
• 단어 수준 어텐션과 문장 수준 어텐션을 하이브리드 어텐션 메커니즘으로 조합하여 특징 학습과 노이즈에 대한 강건성을 향상시킨다.
• 관계 분류를 위한 교차 엔트로피 손실을 사용하여 NYT 데이터셋에서 모델을 엔드 투 엔드로 훈련시킨다.
• 사전 훈련된 문맥 임베딩(트랜스포머 아키텍처에 암시됨)을 활용하여 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 단어 수준과 문장 수준 어텐션을 조합한 하이브리드 어텐션 메커니즘이 원거리 감독 하에서 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 제안된 트랜스포머 기반 모델은 NYT 데이터셋에서 기존 최신 기술 모델과 비교해 어떻게 성능을 내는가?
• RQ3 다중 인스턴스 학습을 어텐션 메커니즘과 통합함으로써 DSRE에서 노이즈 레이블의 영향을 어느 정도 줄일 수 있는가?
• RQ4 더 구조화된 어텐션 메커니즘의 사용이 다양한 관계 유형에 걸쳐 더 나은 일반화를 이끌어내는가?

주요 결과

• 제안된 모델은 기존 최신 기술 모델들보다 뉴욕 타임스(NYT) 데이터셋에서 뛰어난 성능을 달성한다.
• 하이브리드 어텐션 메커니즘이 지역적 문법적 특징과 전반적인 백 수준 의미를 효과적으로 포착하여 관계 분류 성능을 향상시킨다.
• 다중 인스턴스 학습과 문장 수준 어텐션의 통합으로 훈련 데이터 내 노이즈 인스턴스의 영향이 감소한다.
• 예측 시 각 백 내에서 가장 관련성이 높은 문장에 집중함으로써 모델이 레이블 노이즈에 대해 강건함을 보였다.