[논문 리뷰] RDSGAN: Rank-based Distant Supervision Relation Extraction with Generative Adversarial Framework

Guoqing Luo, Jiaxin Pan외 1명|arXiv (Cornell University)|2020. 09. 30.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

RDSGAN은 생성적 적대적 프레임워크로, 적대적 훈련을 통해 진짜 양성 인스턴스의 분포를 학습하고 순위 기반 원거리 감독을 사용하여 유효한 인스턴스를 선택함으로써 원거리 감독 관계 추출에서 거짓 양성 결과를 감소시킨다. 이는 강력한 기준 모델들을 능가하며 NYT 데이터셋에서 평균 Precision@N 85.1%와 AUC 0.39를 기록하여 노이즈 감소 및 성능 향상이 뛰어나다는 것을 입증한다.

ABSTRACT

Distant supervision has been widely used for relation extraction but suffers from noise labeling problem. Neural network models are proposed to denoise with attention mechanism but cannot eliminate noisy data due to its non-zero weights. Hard decision is proposed to remove wrongly-labeled instances from the positive set though causes loss of useful information contained in removed instances. In this paper, we propose a novel generative neural framework named RDSGAN (Rank-based Distant Supervision GAN) which automatically generates valid instances for distant supervision relation extraction. Our framework combines soft attention and hard decision to learn the distribution of true positive instances via adversarial training and selects valid instances conforming to the distribution via rank-based distant supervision, which addresses the false positive problem. Experimental results show the superiority of our framework over strong baselines.

연구 동기 및 목표

• 노이즈 있는 레이블링으로 인해 발생하는 원거리 감독 관계 추출의 거짓 양성 문제를 해결하기 위해.
• 적대적 훈련을 통해 소프트 어텐션과 하드 결정을 결합하여 진짜 양성 분포를 모델링하기 위해.
• 청결한 훈련 데이터를 위한 막대한 수의 유효한(진짜 양성 및 진짜 음성) 인스턴스를 자동으로 생성하기 위해.
• 기존의 하드 제거 방법에서 손실되는 유용한 정보를 유지하면서 노이즈를 감소시키기 위해.
• 새로운 순위 기반 원거리 감독 메커니즘을 통해 관계 추출 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 헤드, 관계, 테일 트리플릿에 조건부로 문장 임베딩을 생성하는 생성기 사용.
• 진짜 양성 인스턴스와 생성된 인스턴스를 구분하기 위해 적대적으로 훈련된 판별기로 진짜 양성 분포를 학습.
• 훈련 후 판별기는 고정되고, 백에 포함된 인스턴스들을 실제 양성 샘플과의 유사도 기반으로 순위 매김하는 데 사용.
• 순위 매기기 모듈은 선택적 어텐션을 적용하여 학습된 분포에 부합하는 가장 타당한 인스턴스를 식별하고 선택.
• 생성기는 순위 손실과 관계 분류 손실을 함께 최적화하여 각 백당 깔끔하고 유효한 인스턴스를 생성.
• 순위 기반 원거리 감독은 상위 순위 인스턴스를 훈련 데이터로 선택하여 거짓 양성 결과를 최소화.

실험 결과

연구 질문

• RQ1 적대적 훈련이 노이즈가 많은 원거리 감독 데이터에서 진짜 양성 인스턴스의 분포를 효과적으로 학습할 수 있는가?
• RQ2 순위를 통한 소프트 어텐션과 하드 결정의 조합이 관계 추출에서 노이즈 감소에 기여하는가?
• RQ3 기존의 어텐션 또는 제거 기반 방법과 비교해 순위 기반 원거리 감독이 유용한 정보를 유지하면서도 거짓 양성 결과를 줄이는 데 더 효과적인가?
• RQ4 생성적 프레임워크가 고품질의 훈련 인스턴스를 자동으로 생성하여 관계 추출 성능을 향상시킬 수 있는가?
• RQ5 기준 데이터셋에서 정밀도, 재현율, AUC 측면에서 RDSGAN은 최신 기술 모델들과 비교해 어떻게 성능을 냈는가?

주요 결과

• RDSGAN은 각각 N=100, 200, 300일 때 Precision@N 88.9%, 85.3%, 81.1%를 기록하여 모든 기준 모델을 뛰어넘었다.
• NYT 데이터셋에서 DSGAN+ATT 대비 AUC를 8.98% 향상시키고 PDCNN+TATT 대비 7.69% 향상시켰다.
• PR 곡선 분석 결과 RDSGAN은 모든 재현율 수준에서 더 높은 정밀도를 유지하며 다른 모델보다 더 천천히 감소했다.
• 더 높은 재현율 수준에서 PDCNN+TATT 대비 평균 6% 높은 정밀도를 기록하여 강건성을 입증했다.
• 적대적 훈련과 순위 기반 감독의 조합은 거짓 양성 결과를 효과적으로 줄이면서도 유용한 정보를 유지한다.
• RDSGAN은 원거리 감독에서 깨끗한 데이터 합성을 위한 생성 모델링과 순위 기반 접근의 우수성을 입증한다.