[논문 리뷰] InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction

Zhendong Chu, Haiyun Jiang외 2명|arXiv (Cornell University)|2020. 12. 17.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

이 논문은 관계 추출을 위한 종단 간 다중 시각 학습 프레임워크인 InSRL을 제안한다. 이 프레임워크는 원거리 감독 문장, 개체 설명, 다중 해상도 개체 유형을 융합한다. 내부 및 교차 시각 주의를 통해 단일 시각 및 그대로 유지된 공간 표현을 함께 학습함으로써, InSRL은 최신 기술 수준의 성능을 달성하여 NYT 벤치마크에서 베이스라인 대비 F1 점수를 4.6% 향상시켰다.

ABSTRACT

Distant supervision makes it possible to automatically label bags of sentences for relation extraction by leveraging knowledge bases, but suffers from the sparse and noisy bag issues. Additional information sources are urgently needed to supplement the training data and overcome these issues. In this paper, we introduce two widely-existing sources in knowledge bases, namely entity descriptions, and multi-grained entity types to enrich the distantly supervised data. We see information sources as multiple views and fusing them to construct an intact space with sufficient information. An end-to-end multi-view learning framework is proposed for relation extraction via Intact Space Representation Learning (InSRL), and the representations of single views are jointly learned simultaneously. Moreover, inner-view and cross-view attention mechanisms are used to highlight important information on different levels on an entity-pair basis. The experimental results on a popular benchmark dataset demonstrate the necessity of additional information sources and the effectiveness of our framework. We will release the implementation of our model and dataset with multiple information sources after the anonymized review phase.

연구 동기 및 목표

• 원거리 감독 관계 추출에서 희소성과 노이즈가 심한 백 문제를 해결하기 위해 추가 정보 소스를 통합한다.
• 기존 다중-예외 학습의 한계를 극복한다. 이는 각 백에 최소한 하나의 양성 문장이 존재한다는 가정을 내포하지만, 실제 데이터셋에서는 이 조건이 자주 위반된다.
• 모든 시각이 충분하지 않아도 되는 통합된 종단 간 프레임워크를 개발하여 다중 시각 표현을 함께 학습한다.
• 개체 설명과 다중 해상도 유형을 관계 분류를 위한 보완 신호로 통합하는 것이 효과적인지 입증한다.

제안 방법

• 세 가지 정보 소스를 시각으로 간주한다: 원거리 감독 문장(v₁), 개체 설명(v₂), 다중 해상도 개체 유형(v₃), 각각 별도의 시각으로 처리한다.
• 종단 간 프레임워크인 InSRL을 제안하여 단일 시각 표현과 그대로 유지된 공간 표현을 함께 학습함으로써, 기존의 두 단계 학습 방식을 피한다.
• 각 시각 내에서 관계 관련 특징을 강조하기 위해 내부 시각 주의를 활용하여, 각 시각의 표현 품질을 향상시킨다.
• 그대로 유지된 공간 표현 학습 중 각 시각의 중요도를 동적으로 가중하기 위해 교차 시각 주의를 적용하여, 개체 설명과 같은 정보성 높은 시각을 강조한다.
• 시각 임베딩의 가중 평균에 비선형 변환(tanh)을 적용하여 최종 그대로 유지된 공간 표현을 생성한다.
• 모델 전체를 단일 손실 함수를 사용해 종단 간 학습함으로써, 주의 가중치 및 표현 레이어를 포함한 모든 구성 요소를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 개체 설명과 다중 해상도 개체 유형은 원거리 감독 환경에서 관계 추출을 향상시키기 위한 효과적인 보완 신호가 될 수 있는가?
• RQ2 문장 수준의 감독만을 사용하는 전통적 다중-예외 학습보다, 다수의 정보 소스를 융합하는 종단 간 다중 시각 학습 프레임워크가 더 우수한 성능을 낼 수 있는가?
• RQ3 내부 시각 및 교차 시각 주의 메커니즘이 각 시각 내외에서 관련 정보를 효과적으로 강조하는가?
• RQ4 간단한 평균화 또는 가중 평균화보다 그대로 유지된 공간 표현 학습이 관계 분류에 더 효과적인가?
• RQ5 실제 원거리 감독 환경에서 흔히 발생하는 희소성 또는 노이즈가 있는 개별 시각이 존재할 경우, 제안된 프레임워크는 여전히 강건한가?

주요 결과

• InSRL은 NYT 벤치마크에서 F1 점수 0.465 ± 0.013를 기록하여, 최고의 베이스라인(MV-ATT) 대비 4.6% 향상되었고, 단일 시각 감독(오직 문장만 사용) 대비 12.8% 향상되었다.
• 개체 설명(v₂)과 다중 해상도 유형(v₃)의 통합은 성능 향상에 크게 기여하며, v₂만으로도 v₃보다 높은 F1(0.314)을 기록하여 설명이 더 풍부한 의미 정보를 담고 있음을 시사한다.
• 내부 시각 주의 메커니즘을 제거한 InSRL w/o RAT는 F1 점수가 0.028 감소하여, 각 시각 내에서 관계 인식 특징을 포착하는 데 있어 이 기법의 중요성을 입증한다.
• 교차 시각 주의를 제거한 InSRL-AVG는 F1 점수가 0.015 감소하여, 동적 가중치 부여가 균일한 평균화보다 표현 품질을 향상시킨다는 것을 보여준다.
• MV-AVG와 MV-ATT 베이스라인은 간단한 평균화와 관계-주의를 사용하지만 그대로 유지된 공간 학습을 하지 않아 InSRL에 비해 성능이 열등하며, 이는 그대로 유지된 공간 학습 프레임워크의 효과성을 입증한다.
• 제거 실험 결과, 세 시각 모두 의미 있는 기여를 하며, 유일하게 제안된 종단 간 InSRL 프레임워크를 통해 모든 소스를 융합했을 때 최고의 성능이 달성됨을 확인했다.