[논문 리뷰] Improving Distantly Supervised Relation Extraction with Neural Noise Converter and Conditional Optimal Selector

Shanchan Wu, Kai Fan외 1명|arXiv (Cornell University)|2018. 11. 14.

Topic Modeling참고 문헌 17인용 수 5

한 줄 요약

이 논문은 지식 기반에서 유도된 노이즈 있는 레이블을 완화함으로써 원거리 지도 학습 관계 추출을 향상시키기 위해 새로운 신경 노이즈 컨버터와 조건부 최적 선택기 기반의 새로운 접근법을 제안한다. 노이즈 컨버터는 로짓 공간에서 구조적 전이 행렬을 학습하여 잘못 레이블링된 데이터를 보정하는 반면, 조건부 선택기는 부정 예제가 지배하는 문장 그룹에서 예측의 견고성을 향상시킨다. 이는 PCNN+ATT 대비 평균 P@N에서 9.1점 향상된 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Distant supervised relation extraction has been successfully applied to large corpus with thousands of relations. However, the inevitable wrong labeling problem by distant supervision will hurt the performance of relation extraction. In this paper, we propose a method with neural noise converter to alleviate the impact of noisy data, and a conditional optimal selector to make proper prediction. Our noise converter learns the structured transition matrix on logit level and captures the property of distant supervised relation extraction dataset. The conditional optimal selector on the other hand helps to make proper prediction decision of an entity pair even if the group of sentences is overwhelmed by no-relation sentences. We conduct experiments on a widely used dataset and the results show significant improvement over competitive baseline methods.

연구 동기 및 목표

• 지식 기반과의 히وري스틱 일치로 인해 발생하는 원거리 지도 학습 관계 추출의 본질적 노이즈를 해결한다.
• 수동 규칙나 전처리 히وري스틱에 의존하지 않고도 노이즈 있는 학습 인스턴스의 부정적 영향을 줄인다.
• 대부분의 문장이 잘못 레이블링되어 있어도, 관계가 존재하는 소수의 문장이 포함된 문장 그룹에서의 예측 신뢰도를 향상시킨다.
• 노이즈 있는 레이블을 보정하고 구조적 제약 조건을 활용하여 의사결정을 향상시키는 기반으로 작용하는 기울기 가능하고 종단 간(end-to-end) 학습이 가능한 프레임워크를 개발한다.
• 표준 벤치마크에서 PCNN+ATT와 같은 강력한 기준 모델에 비해 일관된 성능 향상을 입증한다.

제안 방법

• 원거리 지도 학습 데이터셋의 특성에 기반한 제약 조건을 부여하여, 노이즈 있는 레이블(KB에서 유래)과 진짜 레이블 간의 구조적 전이 행렬을 학습하는 신경 노이즈 컨버터를 제안한다. 이 컨버터는 로짓 공간에서 작동한다.
• 특히 그룹이 부정 문장으로 압도당할 경우에도, 문장 수준의 예측 분포를 고려하여 실시간으로 가장 신뢰도 높은 예측을 선택하는 조건부 최적 선택기를 도입한다.
• 노이즈 컨버터의 전이 행렬과 최종 예측 헤드를 결합한 기울기 가능한 손실 함수를 사용하여 동시 최적화를 가능하게 한다.
• 노이즈 컨버터를 모델의 로짓 위에 학습 가능한 레이어로 적용하여, 학습 중에 유효한 확률 분포로의 사영이 필요 없도록 한다.
• 어텐션 기반 문장 표현과 임계값 기반 의사결정 규칙을 활용하여, 신뢰도와 일관성을 기반으로 최적의 예측을 선택하는 조건부 선택 메커니즘을 구현한다.
• 표준 크로스 엔트로피 손실을 사용하여 모델을 종단 간으로 학습하며, 노이즈 컨버터는 노이즈 있는 레이블을 더 정확한 진짜 레이블 추정치로 매핑하도록 학습한다.

실험 결과

연구 질문

• RQ1 로짓 공간에서 학습 가능한 전이 행렬이 명시적인 노이즈 탐지 없이도 원거리 지도 학습 관계 추출에서 노이즈 있는 레이블을 효과적으로 보정할 수 있는가?
• RQ2 문장 그룹이 대부분 부정 문장으로 구성되어 있어도, 진짜 관계가 소수의 문장에 존재할 경우 조건부 최적 선택기가 예측 성능을 어떻게 향상시키는가?
• RQ3 노이즈 컨버터가 최소한 한 문장이 올바른 관계를 표현한다고 가정하는 기준 모델에 비해 얼마나 뛰어나게 성능을 높이는가?
• RQ4 지식 기반의 잘못된 일치로 인해 고수준의 노이즈가 포함된 학습 데이터에서도 제안된 방법이 견고성과 일반화 능력을 유지하는가?
• RQ5 노이즈 컨버터와 조건부 선택기의 통합이 PCNN+ATT와 같은 최신 기술 수준 모델에 비해 일관되고 뚜렷한 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 모델 PCNN+nc+cond_opt는 평균 P@N 81.3을 달성하였으며, 원래의 PCNN+ATT 보고서 대비 9.1점 높고, 저자들이 자체적으로 구현한 PCNN+ATT 대비 7.1점 높다.
• 단일 모델 기준 평균 정밀도는 43.5%이며, 앙상블 모델 기준으로는 45.2%를 기록하여, PCNN+ATT의 36.5% 및 37.9%를 상회한다.
• 제거 실험(ablation study) 결과, 신경 노이즈 컨버터를 제거한 모델(PCNN+I_W+cond_opt)는 평균 P@N 78.8로 성능이 크게 떨어지며, 이는 노이즈 컨버터가 레이블 보정에 핵심적인 역할을 한다는 것을 확인한다.
• 조건부 최적 선택기는 단순 평균 가중 평균 선택기(PCNN+I_W+avg_weighted)의 평균 P@N 75.2에 비해 뛰어난 성능을 보이며, 불균형한 문장 그룹 처리에서의 우수성을 입증한다.
• 제안된 모델의 앙상블 버전은 성능을 더욱 향상시키며, 앙상블 평균 정밀도 45.2%를 기록하여 PCNN+ATT 앙상블의 37.9%를 크게 앞서며 성능 향상을 입증한다.
• 그림 5와 그림 4의 정밀도/재현율 곡선은 제안된 모델이 단일 및 앙상블 설정 모두에서 모든 평가 임계값에서 일관된 우수성을 유지함을 확인한다.