[논문 리뷰] Structured Minimally Supervised Learning for Neural Relation Extraction

Fan Bai, Alan Ritter|arXiv (Cornell University)|2019. 03. 29.

Natural Language Processing Techniques참고 문헌 58인용 수 6

한 줄 요약

이 논문은 원거리 지도학습에서 레이블 노이즈와 누락된 사실을 다루기 위해 1D 컨volutional 신경망(PCNN)과 잠재변수 구조적 학습을 조합한 구조화되고 최소한의 지도 학습을 받는 신경 관계 추출 모델을 제안한다. 문장 수준의 관계 언급을 잠재변수로 모델링하고, 결정론적 요소와 쌍별 상관관계를 통해 지식 기반(KB) 사실과의 일致성을 강제함으로써, 기준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 주의 기반 신경 모델과 이전의 구조적 방법보다 뛰어나다.

ABSTRACT

We present an approach to minimally supervised relation extraction that combines the benefits of learned representations and structured learning, and accurately predicts sentence-level relation mentions given only proposition-level supervision from a KB. By explicitly reasoning about missing data during learning, our approach enables large-scale training of 1D convolutional neural networks while mitigating the issue of label noise inherent in distant supervision. Our approach achieves state-of-the-art results on minimally supervised sentential relation extraction, outperforming a number of baselines, including a competitive approach that uses the attention layer of a purely neural model.

연구 동기 및 목표

• 신경 표현을 사용하여 원거리 관계 추출에서 노이즈가 많고 완전하지 않은 지도 학습의 과제를 해결하는 것.
• 누락된 사실과 겹치는 관계를 모델링하여 자원이 적은 관계 추출의 일반화 및 강인성을 향상시키는 것.
• 깊이 신경망의 표현 능력과 구조적 학습의 인덕티브 바이어스를 조합하여 최소한의 지도 학습 하에서 더 나은 추론을 가능하게 하는 것.
• 약한 지도 학습에서 발생하는 레이블 노이즈의 영향을 줄이며 대규모 PCNN 학습을 가능하게 하는 것.

제안 방법

• 관계 예측을 위한 문장 수준 표현을 학습하기 위해 위치 임베딩을 사용하는 1D 컨volutional 신경망(PCNN)을 사용한다.
• 문장 내 관계 언급을 위한 잠재변수를 도입하며, 이는 결정론적 요소를 통해 관측된 KB 사실과 연결된다.
• 쌍별 상관관계는 예측된 언급과 KB 사실 간의 일致성을 강제하지만, 신뢰도가 높을 경우 제약을 무시하고 추론을 우선시한다.
• 불가능한 주변 추론으로 인해 MAP 기반 학습 목표를 사용하여, 구조적 제약을 포함한 엔드 투 엔드 학습을 가능하게 한다.
• 기존의 희소 특징을 사용한 접근 방식과 달리, 구조적 학습을 엔드 투 엔드 신경 특징 학습과 통합한다.
• 엔티티 쌍 당 다중 관계에 대한 동시 추론을 지원하며, 겹치는 관계를 명시적으로 다룬다.

실험 결과

연구 질문

• RQ1 신경 표현과 함께 구조적 학습이 최소한의 지도 학습 하에서 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 신경 모델이 원거리 지도 학습에서 레이블 노이즈와 누락된 사실을 얼마나 효과적으로 다룰 수 있는가?
• RQ3 결정론적 요소와 쌍별 상관관계를 사용해 잠재 관계 언급을 모델링함으로써, 순수 신경 모델이나 희소 특징 기반 접근보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 엔드 투 엔드 신경 특징 학습이 관계 추출을 위한 구조적 예측과 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 PCNN-NMAR 모델은 최소한의 지도 학습 관계 추출에 대해 NytFb-68k 및 NytFb-280k 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• NytFb-68k에서, 경쟁력 있는 주의 기반 신경 모델(PCNN+ATT)과 MultiR보다 높은 F1 점수와 더 우수한 정밀도-재현율 트레이드오프를 달성한다.
• 고재현율 영역에서 정밀도를 유지하면서도 노이즈에 더 강인함을 입증하여, 레이블 노이즈와 누락된 사실에 대한 저항력이 향상됨을 보여준다.
• 가중치 버전의 PCNN-NMAR는 고재현율에서 정밀도가 낮아지며, 이는 모델이 KB에 기록되지 않은 진짜 양성 예측을 성공적으로 추출했다는 가설과 일치한다.
• 잠재변수와 신경 표현을 활용한 구조적 학습이 대규모, 최소한의 지도 학습 관계 추출에 효과적이라는 것이 결과적으로 확인되었다.