[논문 리뷰] Jointly Extracting Relations with Class Ties via Effective Deep Ranking

Hai Ye, Wenhan Chao외 2명|arXiv (Cornell University)|2016. 12. 22.

Topic Modeling참고 문헌 20인용 수 6

한 줄 요약

이 논문은 CNN 기반 문장 인코더와 새로운 쌍별 랭킹 손실 함수를 사용하여 관계 간의 공존 및 논리적 함의 관계(클래스 유사성)를 활용함으로써 다중 관계를 통합적으로 추출하는 유일한 딥 랭킹 모델을 제안한다. 이 방법은 Riedel 데이터셋에서 베이스라인을 크게 능가하며, 관계 간 의존성과 '관계 없음'(NR) 레이블로 인한 클래스 불균형 문제를 효과적으로 모델링함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Connections between relations in relation extraction, which we call class ties, are common. In distantly supervised scenario, one entity tuple may have multiple relation facts. Exploiting class ties between relations of one entity tuple will be promising for distantly supervised relation extraction. However, previous models are not effective or ignore to model this property. In this work, to effectively leverage class ties, we propose to make joint relation extraction with a unified model that integrates convolutional neural network (CNN) with a general pairwise ranking framework, in which three novel ranking loss functions are introduced. Additionally, an effective method is presented to relieve the severe class imbalance problem from NR (not relation) for model training. Experiments on a widely used dataset show that leveraging class ties will enhance extraction and demonstrate the effectiveness of our model to learn class ties. Our model outperforms the baselines significantly, achieving state-of-the-art performance.

연구 동기 및 목표

• 원거리 감독 관계 추출에서 한 엔티티 튜플이 여러 개의 유효한 관계를 가질 수 있는 관계 중복 문제를 해결하기 위해.
• 관계 간의 약한 공존 및 강한 논리적 함의 관계인 클래스 유사성을 활용하여 추출 정확도를 향상시키기 위해.
• 다중 관계를 동시에 예측하면서도 관계 간 의존성을 유지하는 통합 모델을 개발하기 위해.
• '관계 없음'(NR) 클래스로 인한 심각한 클래스 불균형 문제를 완화하기 위해.
• 쌍별 랭킹을 통한 통합 추출이 관계적 맥락을 유지함으로써 개별 관계 추출보다 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 각 관계 후보에 대해 문장을 밀집 벡터 표현으로 인코딩하기 위해 합성곱 신경망(CNN)을 사용한다.
• 다중 문장에서 엔티티 쌍에 대한 백 표현을 형성하기 위해 평균 풀링과 주의 기반 풀링이라는 두 가지 문장 집계 방법을 적용한다.
• 양성 관계 레이블을 부정 레이블보다 높게 랭킹하는 세 가지 새로운 쌍별 랭킹 손실 함수를 도입하여 레이블 간 의존성 모델링을 수행한다.
• 관계 유형을 표현하기 위해 클래스 임베딩을 적용하고, 백 표현과 관계 임베딩 간의 유사도 점수를 실수 공간에서 계산한다.
• NR 샘플에서 기울기 흐름을 억제함으로써 학습 중 '관계 없음'(NR) 클래스의 영향을 감소시켜 모델의 강건성을 향상시킨다.
• 통합 예측과 쌍별 랭킹을 조합하여 관계 간의 공존 및 함의 패턴을 유지한다.

실험 결과

연구 질문

• RQ1 원거리 감독 환경에서 클래스 유사성을 모델링하는 통합 관계 추출이 독립적 관계 추출보다 성능을 향상시킬 수 있는가?
• RQ2 평균 풀링 대비 주의 기반 풀링과 같은 다양한 문장 집계 전략이 통합 관계 추출에서 교차 문장 증거를 포착하는 데 얼마나 효과적인가?
• RQ3 관계 없음(NR) 클래스의 영향을 완화함으로써 모델의 일반화 능력과 수렴 성능이 얼마나 향상되는가?
• RQ4 쌍별 랭킹 손실 함수가 공존 및 함의와 같은 관계 간 의존성을 효과적으로 학습할 수 있는가?
• RQ5 다중 관계의 통합 모델링이 개별 모델 대비 정밀도와 재현율을 향상시키는가?

주요 결과

• 특히 ExATT 집계 방법과 쌍별 랭킹 손실을 적용한 제안된 모델은 상위 100~500개 예측에서 평균 정밀도 79.0%를 기록하여 최고 성능을 달성한다.
• Rank + ExATT는 상위 N 기준 모든 수준에서 Precision과 Recall 모두 Rank + AVE 및 Rank + ATT를 능가하여 뛰어난 일반화 능력을 입증한다.
• NR 클래스의 영향을 완화함으로써 모델 성능이 크게 향상되며, '-NR' 버전은 '+NR' 베이스라인 대비 더 매끄럽게 수렴하고 더 높은 최종 F-측정치를 달성한다.
• 클래스 유사성 모델링을 통한 통합 추출은 골드 표준 관계(예: /location/./county_seat 및 /location/./contains)에 대해 개별 추출보다 높은 점수를 기록하여 관계 맥락의 유용성을 확인한다.
• NR를 억제하지 않을 경우 모델 수렴 속도는 빠르지만 안정성은 떨어지며, 이는 NR 편향이 학습 동역학에 악영향을 준다는 것을 시사한다.
• 사례 연구를 통해 통합 추출이 관계 간 의존성을 유지함으로써 한 관계에 증거가 있을 경우 관련된 다른 관계도 함께 정확히 예측할 수 있음을 확인한다.