[논문 리뷰] Denoising Distant Supervision for Relation Extraction via Instance-Level Adversarial Training

Xu Han, Zhiyuan Liu외 1명|arXiv (Cornell University)|2018. 05. 28.

Topic Modeling참고 문헌 23인용 수 17

한 줄 요약

이 논문은 신경 관계 추출에서 원거리 레이블링의 노이즈를 제거하기 위해 인스턴스 수준의 적대적 훈련을 제안한다. 여기서 판별기는 확신 있는 인스턴스와 확신이 없는 인스턴스를 구분하고, 샘플러는 적대적으로 가장 혼란스러운 인스턴스를 선택하여 노이즈 필터링을 향상시킨다. 이 방법은 특히 자원이 적은 실체 쌍에서 최신 기술 수준의 성능을 달성하며, 기존의 노이즈 제거 기반 모델들을 크게 능가한다.

ABSTRACT

Existing neural relation extraction (NRE) models rely on distant supervision and suffer from wrong labeling problems. In this paper, we propose a novel adversarial training mechanism over instances for relation extraction to alleviate the noise issue. As compared with previous denoising methods, our proposed method can better discriminate those informative instances from noisy ones. Our method is also efficient and flexible to be applied to various NRE architectures. As shown in the experiments on a large-scale benchmark dataset in relation extraction, our denoising method can effectively filter out noisy instances and achieve significant improvements as compared with the state-of-the-art models.

연구 동기 및 목표

• 지식 그래프와 텍스트 간의 자동 정렬으로 인해 발생하는 원거리 레이블링의 노이즈 문제를 해결하기 위해.
• 부드러운 소프트 가중치 기반 접근 방식을 넘어서, 정보가 풍부한 문장과 노이즈가 많은 문장을 인스턴스 수준에서 구분할 수 있도록 노이즈 탐지의 정밀도를 향상시키기 위해.
• 실체 쌍의 훈련 인스턴스가 적은 경우에도 효과적으로 작동하는 노이즈 제거 방법을 개발하기 위해.
• 다양한 신경 관계 추출 모델에 쉽게 통합할 수 있도록 유연하고 효율적이며 아키텍처에 종속되지 않는 프레임워크를 만들기 위해.

제안 방법

• 훈련 데이터를 확신 있는 집합(양성)과 확신이 없는 집합(음성)으로 분할하고, 확신 있는 집합을 사용해 판별기를 훈련시켜 인스턴스를 분류하도록 한다.
• 샘플러 모듈을 훈련시켜 확신이 없는 집합에서 가장 혼란스러운 인스턴스를 선택하여 판별기를 적대적으로 도전하도록 한다.
• 판별기와 샘플러는 적대적으로 훈련되며, 샘플러는 판별기를 속이려 하고, 판별기는 진정한 양성 예측을 더 잘 식별하도록 향상된다.
• 훈련 중에 확신이 없는 집합에서 가장 정보가 풍부하고 확신 있는 인스턴스들이 동적으로 확신 있는 집합으로 이동되어 훈련 데이터가 풍부해진다.
• 적대적 과정을 통해 노이즈가 많은 인스턴스는 두 모듈의 손실를 줄일 수 없게 되어 점차 필터링되며, 이로 인해 모델의 강건성이 향상된다.
• 이 프레임워크는 PCNN와 같은 다양한 신경 아키텍처와 호환되며, 아키텍처 수정 없이 적용 가능하다.

실험 결과

연구 질문

• RQ1 소프트 어텐션 또는 풀링 기반 방법을 넘어서, 인스턴스 수준의 적대적 훈련이 원거리 레이블링의 노이즈 탐지 성능을 향상시킬 수 있는가?
• RQ2 실체 쌍이 하나 또는 두 개의 훈련 문장만을 가질 경우, 제안된 방법이 노이즈가 많은 인스턴스를 얼마나 효과적으로 필터링하는가?
• RQ3 적대적 훈련 메커니즘이 부족한 지도 학습이 필요한 장꼬리 관계에서 성능 향상에 기여하는가?
• RQ4 아키텍처 수정 없이 다양한 신경 관계 추출 아키텍처에 민감도 없이 적용 가능한가?

주요 결과

• 제안된 방법은 NYT 벤치마크에서 최신 기술 수준의 모델들, 특히 PCNN+ATT 및 그 변종들을 크게 능가하며, 전체 데이터 설정에서 82.8%의 F1 스코어를 달성한다.
• 한 개 또는 두 개의 문장만을 가진 실체 쌍에서, 이 방법은 ATT 및 기존 기반 모델들에 비해 일관되고 뚜렷한 성능 향상을 보이며, 자원이 적은 환경에서의 강건성을 입증한다.
• 사례 연구를 통해 샘플러가 '위치 포함' 관계에 대해 올바르게 긍정 예측을 선택하고 관련이 없는 예측은 거부하는 등, 정보가 풍부한 인스턴스와 노이즈가 많은 인스턴스를 효과적으로 식별함을 확인할 수 있었다.
• 훈련 데이터가 증가함에 따라 이 방법은 뛰어난 성능을 유지하며, 강력한 노이즈 내성과 확장성의 잠재력을 보여준다.
• 확신이 없는 인스턴스를 동적으로 확신 있는 집합으로 재분류함으로써 모델 학습이 향상되고, 이는 방법의 효과성에 기여한다.