[논문 리뷰] Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning

Tianyi Liu, Xinsong Zhang외 2명|arXiv (Cornell University)|2018. 08. 21.

Topic Modeling참고 문헌 23인용 수 9

한 줄 요약

이 논문은 관계 추출에서 내부 문장 노이즈를 줄이기 위해 하위 트리 파싱(Sub-Tree Parse, STP)을 사용하고, 엔티티 분류로부터의 전이 학습을 통해 모델의 강건성을 향상시키는 새로운 신경 관계 추출 프레임워크를 제안한다. STP, 엔티티별 어텐션, 그리고 파rameter 전이 학습을 조합함으로써, 모델은 PR 영역을 0.35에서 0.39로 향상시켜 NYT 및 Freebase 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Extracting relations is critical for knowledge base completion and construction in which distant supervised methods are widely used to extract relational facts automatically with the existing knowledge bases. However, the automatically constructed datasets comprise amounts of low-quality sentences containing noisy words, which is neglected by current distant supervised methods resulting in unacceptable precisions. To mitigate this problem, we propose a novel word-level distant supervised approach for relation extraction. We first build Sub-Tree Parse(STP) to remove noisy words that are irrelevant to relations. Then we construct a neural network inputting the sub-tree while applying the entity-wise attention to identify the important semantic features of relational words in each instance. To make our model more robust against noisy words, we initialize our network with a priori knowledge learned from the relevant task of entity classification by transfer learning. We conduct extensive experiments using the corpora of New York Times(NYT) and Freebase. Experiments show that our approach is effective and improves the area of Precision/Recall(PR) from 0.35 to 0.39 over the state-of-the-art work.

연구 동기 및 목표

• 원거리 감독 관계 추출 데이터셋에서 낮은 품질의 노이즈가 있는 문장 문제를 해결하기 위해.
• 관계 추출 성능을 저해하는 문장 내 단어 수준의 노이즈를 줄이기 위해.
• 더 나은 가중치 초기화를 통해 노이즈가 많은 훈련 데이터에 대한 모델의 강건성을 향상시키기 위해.
• 엔티티 유형 분류를 통해 관계 추출 모델의 초기화에 사전 지식을 활용하기 위해.
• 노이즈가 많고 비공식적인 웹 크롤링 문장들에도 높은 정밀도와 재현율을 달성하기 위해.

제안 방법

• 두 엔티티의 가장 낮은 공통 조상 기준으로 구조적 하위 트리를 추출하여 관련 없는 단어를 제거하기 위해 하위 트리 파싱(Sub-Tree Parse, STP)을 제안한다.
• 파싱된 하위 트리 내에서 관계 관련 의미적 특징을 강조하기 위해 엔티티별 어텐션을 적용한다.
• 엔티티 유형 분류 작업에서 미리 훈련된 가중치를 사용하여 관계 추출 모델을 초기화하기 위해 전이 학습을 활용한다.
• 단어 수준 어텐션을 갖춘 양방향 GRU(Bidirectional GRU, BGRU)를 사용하여 시퀀스 인코딩 및 관계 분류를 수행한다.
• STP, 엔티티별 어텐션, 전이 학습을 통합하여 노이즈에 강건한 종단 간 신경 모델을 구성한다.
• 자동 레이블링을 사용한 원거리 감독 기반으로 NYT 및 Freebase 데이터셋에서 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 구문 분석을 통해 내부 문장 노이즈를 효과적으로 줄일 수 있는가, 이는 관계 추출 정확도 향상에 기여하는가?
• RQ2 표준 단어 수준 어텐션과 비교해 엔티티별 어텐션은 관계 관련 특징에 집중하는 데 모델 능력을 향상시키는가?
• RQ3 엔티티 유형 분류로부터의 전이 학습은 노이즈가 많고 품질이 낮은 데이터셋에서 관계 추출기의 강건성을 향상시키는가?
• RQ4 STP, 엔티티별 어텐션, 전이 학습의 통합은 최신 기술 관계 추출 방법과 비교해 어떻게 성능을 냅니다?
• RQ5 관련 작업에서의 파라미터 초기화가 노이즈가 많은 훈련 데이터의 부정적 영향을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 모델은 정밀도/재현율(PR) 곡선 영역을 0.392로 달성하여 최고의 베이스라인(PCNN+ATT) 대비 6.3% 향상되었다.
• PCNN+ATT 대비 P@100은 6.3%, P@200은 7.6%, P@300은 7.7% 향상되어 평가 지표 전반에 걸쳐 일관된 성능 향상을 보였다.
• STP와 엔티티별 어텐션의 조합은 내부 문장 노이즈를 효과적으로 줄여 베이스라인 대비 5% 이상 성능 향상을 이끌어냈다.
• 전이 학습은 모델의 강건성을 향상시켜, 전이 학습 없이 훈련한 모델(0.383) 대비 PR-AUC를 2% 향상시켰다(0.392 대비 0.383).
• 정밀도가 0.6 이상을 유지하면서 재현율이 0.25일 때에도 높은 성능을 보이며 고신뢰도 예측에서의 우수성을 입증했다.
• STP 방법은 평균 문장 길이를 크게 줄였으며, NYT-10 데이터셋의 99.4% 문장에서 노이즈가 존재했고, 평균적으로 문장당 약 12개의 노이즈 단어를 제거했다.