[논문 리뷰] Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention

Sharmistha Jat, Siddhesh Khandelwal외 1명|arXiv (Cornell University)|2018. 04. 19.

Topic Modeling참고 문헌 15인용 수 94

한 줄 요약

논문은 원- 단어 및 엔티티 주의(attention) 모델(BGWA 및 EA)을 활용한 원거리 감독 관계 추출(distantly supervised relation extraction)을 제안하고, 노이즈가 감소된 테스트 데이터가 포함된 새로운 GDS 데이터셋을 도입하며, BGWA, EA, PCNN의 앙상블이 기준 모델들보다 정밀도를 향상시킨다는 것을 보여준다.

ABSTRACT

Relation extraction is the problem of classifying the relationship between two entities in a given sentence. Distant Supervision (DS) is a popular technique for developing relation extractors starting with limited supervision. We note that most of the sentences in the distant supervision relation extraction setting are very long and may benefit from word attention for better sentence representation. Our contributions in this paper are threefold. Firstly, we propose two novel word attention models for distantly- supervised relation extraction: (1) a Bi-directional Gated Recurrent Unit (Bi-GRU) based word attention model (BGWA), (2) an entity-centric attention model (EA), and (3) a combination model which combines multiple complementary models using weighted voting method for improved relation extraction. Secondly, we introduce GDS, a new distant supervision dataset for relation extraction. GDS removes test data noise present in all previous distant- supervision benchmark datasets, making credible automatic evaluation possible. Thirdly, through extensive experiments on multiple real-world datasets, we demonstrate the effectiveness of the proposed methods.

연구 동기 및 목표

• 관심 있는 문맥에 주목하는 주의(attention)를 통해 거리 감독하 관계 추출의 품질을 향상시키고자 한다.
• 정보에 유용한 단어와 엔티티 관련 신호를 더 잘 포착하기 위해 두 가지 새로운 주의 기반 모델(BGWA 및 EA)을 개발한다.
• 테스트 세트 노이즈를 제거하여 신뢰할 수 있는 자동 평가를 가능하게 하는 깨끗하고 신뢰할 수 있는 평가 데이터셋(GDS)을 만든다.
• 다양한 데이터셋에서 단일 모델보다 모델 앙상블이 우수한 성능을 보임을 입증한다.

제안 방법

• BGWA를 도입한다: 대상 관계에 대한 단어 수준의 관련성을 계산하고 부분 영역 최대 풀링(piecewise max pooling)을 적용하는 Bi-GRU 기반의 단어 주의.
• EA를 도입한다: 엔터티 중심 주의로 각 엔터티와의 관련성에 따라 단어를 가중하고 엔터티 주의 풀링과 함께 PCNN을 사용한다.
• BGWA, EA, PCNN을 선형 회귀를 통해 개발 세트에서 학습된 가중치를 이용한 가중 투표 앙상블로 결합한다.
• Google Distant Supervision(GDS)을 구성한다: 각 인스턴스 세트에 최소 한 문장이 할당된 관계를 표현하도록 하여 테스트 세트 노이즈를 줄이려 한다.
• 두 개의 데이터셋(Riedel2010-b 및 GDS)에서 정밀도-재현율 곡선과 AUC를 이용해 모델을 평가하고 모델 선택을 수행한다.

실험 결과

연구 질문

• RQ1 단어 수준의 주의(BGWA)가 핵심 구를 강조함으로써 거리 감독 관계 추출을 개선할 수 있는가?
• RQ2 엔티티 중심 주의(EA)가 엔티티 관련 맥락에 초점을 맞춰 관계 추출을 개선할 수 있는가?
• RQ3 다양한 보완적 모델을 가중 앙상블로 결합하는 것이 개별 모델보다 거리 감독 RE에서 더 좋은 성능을 보이는가?
• RQ4 정제된 GDS 데이터셋이 거리 감독 RE의 자동 평가를 더 신뢰할 수 있게 만드는가?
• RQ5 노이즈가 다른 데이터셋과 관계 집합 크기에 따라 BGWA와 EA의 상대적 성능은 어떻게 되는가?

주요 결과

• BGWA와 EA가 두 데이터셋에서 SOTA 기준 모델들보다 모든 재현율 구간에서 더 높은 정밀도 또는 경쟁력 있는 정밀도를 달성한다.
• BGWA, EA, PCNN의 앙상블은 개별 모델보다 추가적인 정밀도 이득을 제공하며(특히 Riedel2010-b 재현율 구간에서 2-3% 이상 증가), 재현율 전반에서 개선을 보인다.
• BGWA는 Riedel2010-b에서 더 우수한 반면, EA는 GDS에서 더 나은 성능을 보이며 상호 보완적 강점을 시사한다.
• 주의(attention) 모델이 대상 관계와 일치하는 핵심 단어 및 엔터티 관련 신호를 식별하는 데 도움을 주는 것이 주의 시각화로도 확인된다.
• GDS는 각 인스턴스 세트에 할당된 관계를 표현하는 문장이 최소 하나 포함되도록 보장함으로써 테스트 세트 노이즈를 완화하고 신뢰할 수 있는 자동 평가를 제공한다.