[논문 리뷰] DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction

Pengda Qin, Weiran Xu외 1명|arXiv (Cornell University)|2018. 05. 24.

Topic Modeling참고 문헌 21인용 수 24

한 줄 요약

이 논문은 관계 추출을 위한 노이즈가 있는 원거리 감독 데이터를 필터링하기 위해 문장 수준의 진짜 양성 샘플 생성자를 학습하는 DSGAN이라는 생성적 적대적 프레임워크를 제안한다. 생성자 모델이 판별자 모델을 속이도록 진짜 양성 샘플을 생성하도록 훈련시킴으로써, DSGAN은 잘못된 양성 샘플을 식별하고 음성 집합으로 재할당하여, NYT 데이터셋에서 여러 최신 아키텍처에 대해 후행 모델 성능을 크게 향상시킨다.

ABSTRACT

Distant supervision can effectively label data for relation extraction, but suffers from the noise labeling problem. Recent works mainly perform soft bag-level noise reduction strategies to find the relatively better samples in a sentence bag, which is suboptimal compared with making a hard decision of false positive samples in sentence level. In this paper, we introduce an adversarial learning framework, which we named DSGAN, to learn a sentence-level true-positive generator. Inspired by Generative Adversarial Networks, we regard the positive samples generated by the generator as the negative samples to train the discriminator. The optimal generator is obtained until the discrimination ability of the discriminator has the greatest decline. We adopt the generator to filter distant supervision training dataset and redistribute the false positive instances into the negative set, in which way to provide a cleaned dataset for relation classification. The experimental results show that the proposed strategy significantly improves the performance of distant supervision relation extraction comparing to state-of-the-art systems.

연구 동기 및 목표

• 원거리 감독을 통한 관계 추출에서 지속적인 노이즈 레이블 문제를 해결하기 위해.
• 기존의 백 수준 소프트 어텐션 방법보다 우수한 문장 수준의 노이즈 제거 전략을 개발하기 위해.
• 모델에 의존하지 않는, 즉시 적용 가능한 데이터 정제 기법을 만들기 위해.
• 인간 레이블링 데이터가 필요 없이 강건한 비지도 방식으로 잘못된 양성 샘플을 필터링할 수 있도록 하기 위해.

제안 방법

• DSGAN는 생성적 적대적 네트워크(GAN) 프레임워크를 사용하며, 생성자는 노이즈가 있는 원거리 감독 데이터에서 진짜 양성 샘플을 학습한다.
• 판별자는 진짜 양성 샘플과 생성된 양성 샘플을 구분하도록 훈련되며, 생성된 샘플은 음성으로 레이블링된다.
• 생성자는 판별자를 속이도록 최적화되어, 적대적 피드백을 통해 진짜 양성 샘플을 식별하는 능력을 향상시킨다.
• 판별자의 분류 성능이 최소가 되는 순간 최적의 생성자가 도달되며, 이는 진짜 양성과 잘못된 양성 샘플 간의 효과적 분리가 이루어졌음을 의미한다.
• 최종 생성자는 훈련 세트를 정제하는 데 사용되며, 생성자가 생성한 인스턴스는 음성 집합으로 이동되어 후행 관계 분류를 위한 데이터셋이 정제된다.
• 이 방법은 사전 처리 단계로 적용되므로, 어떤 관계 추출 모델과도 호환된다.

실험 결과

연구 질문

• RQ1 적대적 학습이 원거리 감독 데이터의 노이즈 제거에 효과적으로 적용될 수 있는가?
• RQ2 문장 수준의 노이즈 제거 전략이 기존의 백 수준 소프트 어텐션 방법보다 잘못된 양성 샘플을 더 잘 다룰 수 있는가?
• RQ3 지도 학습 없이도 생성자가 노이즈가 많은 데이터셋에서 진짜 양성 샘플을 식별할 수 있는가?
• RQ4 DSGAN이 벤치마크 데이터셋에서 최신 관계 추출 모델의 성능을 어느 정도 향상시키는가?

주요 결과

• DSGAN은 NYT 데이터셋에서 테스트된 모든 관계 추출 모델의 AUC 성능을 유의미하게 향상시켰으며, 모든 경우에서 p-value < 0.05였다.
• CNN+ONE 모델은 DSGAN 적용 후 AUC가 0.177에서 0.189로 향상되었고, PCNN+ATT 모델은 0.253에서 0.264로 상승했다.
• DSGAN가 생성한 양성 샘플 세트는 사전 학습된 생성자 및 기준 세트보다 우수한 성능을 보였으며, 진짜 양성 샘플 식별 능력이 뛰어나다는 것을 시사한다.
• 이전의 소프트 어텐션 방법이 약한 점인, 엔티티 쌍의 모든 문장이 잘못된 양성 샘플인 경우에도 이 방법은 효과적으로 대응할 수 있었다.
• 다양한 모델에 걸쳐 일관된 성능 향상이 관찰되어, 이 방법의 모델에 의존하지 않는 강건한 성질을 확인할 수 있었다.