[논문 리뷰] Distant Supervision Relation Extraction with Intra-Bag and Inter-Bag Attentions

Zhi-Xiu Ye, Zhen-Hua Ling|arXiv (Cornell University)|2019. 03. 30.

Topic Modeling참고 문헌 19인용 수 12

한 줄 요약

이 논문은 원거리 감독에서 발생하는 노이즈 문제를 해결하기 위해 이중 주의 메커니즘(상호-백터 간 및 내부-백터 간)을 사용하는 신경 관계 추출 모델을 제안한다. 백터 내에서 관계 인식 문장 가중치를 계산하고, 유사도 기반으로 전체 백터 그룹의 가중치를 동적으로 조정함으로써, 노이즈가 많은 훈련 데이터에도 불구하고 더 강력한 표현을 학습함으로써 NYT 데이터셋에서 최신 기술을 초월하는 정확도를 달성한다.

ABSTRACT

This paper presents a neural relation extraction method to deal with the noisy training data generated by distant supervision. Previous studies mainly focus on sentence-level de-noising by designing neural networks with intra-bag attentions. In this paper, both intra-bag and inter-bag attentions are considered in order to deal with the noise at sentence-level and bag-level respectively. First, relation-aware bag representations are calculated by weighting sentence embeddings using intra-bag attentions. Here, each possible relation is utilized as the query for attention calculation instead of only using the target relation in conventional methods. Furthermore, the representation of a group of bags in the training set which share the same relation label is calculated by weighting bag representations using a similarity-based inter-bag attention module. Finally, a bag group is utilized as a training sample when building our relation extractor. Experimental results on the New York Times dataset demonstrate the effectiveness of our proposed intra-bag and inter-bag attention modules. Our method also achieves better relation extraction accuracy than state-of-the-art methods on this dataset.

연구 동기 및 목표

• 원거리 감독으로 인해 발생하는 노이즈가 많은 훈련 데이터 문제를 해결하기 위해.
• 문장 수준(내부-백터)과 백터 수준(상호-백터)에서 노이즈를 모델링하여 모델의 강건성을 향상시키기 위해.
• 이전 방법들이 주로 목표 관계만을 주의 쿼리로 사용하는 한계를 극복하기 위해, 모든 가능한 관계를 쿼리로 사용함으로써.
• 모든 문장이 잘못 레이블링된 '노이즈가 많은 백터 문제'를 해결하기 위해 개별 백터가 아닌 백터 그룹을 모델링함으로써.
• 뉴욕 타임스 데이터셋에서 기존 최신 기술 모델보다 더 높은 관계 추출 정확도를 달성하기 위해.

제안 방법

• 모든 가능한 관계가 쿼리로 작용하는 관계 인식 내부-백터 주의 메커니즘을 사용하여, 백터 내 문장에 대한 주의 가중치를 계산함으로써 관계에 따라 유사도 기반으로 동적으로 가중치를 조정한다.
• 문장 임베딩의 가중치 합으로 백터 표현을 구성하며, 목표 관계와 관련성이 높은 문장일수록 더 높은 가중치를 할당한다.
• 동일한 관계 레이블을 공유하는 여러 백터 간의 유사도 기반 스코어를 사용하여 주의 가중치를 계산하는 상호-백터 주의 모듈을 도입한다. 이는 노이즈가 많은 백터를 식별하고 가중치를 낮추는 데 기여한다.
• 동일한 관계 레이블을 가진 백터 그룹을 하나의 훈련 샘플(백터 그룹)로 간주함으로써 일반화 능력과 백터 수준의 노이즈에 대한 강건성을 향상시킨다.
• 제안된 주의 모듈과 함께 PCNN(Path-Consistent Neural Network) 아키텍처를 사용하여 문장으로부터 문맥적 특징을 추출한다.
• 문장 수준과 백터 수준의 주의를 공동 훈련 프레임워크에서 활용함으로써, 노이즈에 강건한 계층적 표현을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 내부-백터 주의에서 목표 관계 외에도 모든 가능한 관계를 쿼리로 사용할 경우, 목표 관계만을 쿼리로 사용하는 것보다 백터 표현의 품질이 향상되는가?
• RQ2 개별 백터가 아닌 백터 그룹을 훈련 샘플로 간주할 경우, 노이즈가 많은 백터가 모델 성능에 미치는 영향이 감소하는가?
• RQ3 유사도 기반 상호-백터 주의가 훈련 세트 내에서 노이즈가 많은 백터를 효과적으로 식별하고 가중치를 낮출 수 있는가?
• RQ4 제안된 이중 주의 메커니즘이 기존 최신 기술 모델 대비 NYT 데이터셋에서 관계 추출 정확도를 얼마나 향상시키는가?
• RQ5 다양한 문장 수를 가진 백터들 간의 주의 가중치 분포는 어떻게 되며, 이는 레이블 품질과 관련이 있는가?

주요 결과

• 제안된 방법은 엔티티 쌍당 하나, 두 개, 또는 모든 문장을 포함한 테스트 세트 전반에서 Lin 등(2016) 및 Liu 등(2017)과 같은 이전 모델보다 높은 P@N 점수(P@100, P@200, P@300)를 달성했다.
• ATT_RA 모델(관계 인식 내부-백터 주의)은 엔티티 쌍당 하나의 문장만 존재하는 경우에도 ATT_BL(기본 모델)을 능가했으며, 훈련 시 관계 인식 주의의 유용성을 입증했다.
• 문장 수가 적은 백터의 상호-백터 주의 가중치가 낮게 나타났으며, 이는 이러한 백터가 더 노이즈가 많을 가능성이 높다는 가설을 지지하며, 모델이 성공적으로 이러한 백터를 가중치를 낮추었다는 것을 보여준다.
• 사례 연구에서 상호-백터 주의 메커니즘이 목표 관계를 표현하지 않는 문장을 포함한 노이즈가 많은 백터의 가중치를 크게 감소시켜 효과적인 노이즈 필터링을 수행했음을 확인했다.
• PCNN+ATT_RA+BAG_ATT 모델은 NYT 데이터셋에서 최신 기술 성능을 달성하여 내부-백터 및 상호-백터 주의 메커니즘의 조합이 효과적임을 확인했다.
• 모델의 성능은 다양한 테스트 설정에서 일관되게 유지되어, 훈련 데이터 구성의 변동에 대해 강건함을 보였다.