[논문 리뷰] Learning to Denoise Distantly-Labeled Data for Entity Typing

Yasumasa Onoe, Greg Durrett|arXiv (Cornell University)|2019. 05. 04.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

이 논문은 초세밀 엔티티 타이핑에서 원거리 레이블이 부여된 데이터를 위한 이중 단계 노이즈 제거 프레임워크를 제안한다. 학습된 필터링 함수를 통해 사용할 수 없는 예제를 제거하고, 레이블을 보정하기 위한 재레이블링 함수를 사용한다. 합성 노이즈가 추가된 데이터로 훈련된 방법은 ELMo 기반 베이스라인 대비 3 F1 향상으로 성능을 향상시키며, 최신 기술 수준(SOTA) 성능을 달성한다. 원시적인 원거리 데이터와 히우리스틱 노이즈 제거 방법을 모두 능가한다.

ABSTRACT

Distantly-labeled data can be used to scale up training of statistical models, but it is typically noisy and that noise can vary with the distant labeling technique. In this work, we propose a two-stage procedure for handling this type of data: denoise it with a learned model, then train our final model on clean and denoised distant data with standard supervised training. Our denoising approach consists of two parts. First, a filtering function discards examples from the distantly labeled data that are wholly unusable. Second, a relabeling function repairs noisy labels for the retained examples. Each of these components is a model trained on synthetically-noised examples generated from a small manually-labeled set. We investigate this approach on the ultra-fine entity typing task of Choi et al. (2018). Our baseline model is an extension of their model with pre-trained ELMo representations, which already achieves state-of-the-art performance. Adding distant data that has been denoised with our learned models gives further performance gains over this base model, outperforming models trained on raw distant data or heuristically-denoised distant data.

연구 동기 및 목표

• 원거리 지도 학습에서, 엔티티 링킹 및 헤드 워드와 같은 원거리 지도 학습 소스가 일관성 없거나 불완전한 레이블을 유도하는 노이즈 레이블 문제를 해결하기 위해.
• 최종 모델의 훈련 파이프라인을 수정하지 않고도 노이즈가 많은 원거리 데이터를 고품질의 훈련 예제로 변환하여 모델 성능을 향상시키기 위해.
• 입력과 노이즈가 있는 레이블에 조건을 두는, 미분 가능한 종단간(end-to-end) 노이즈 제거 접근법을 개발하여 레이블 공간의 구조 학습을 가능하게 하기 위해.
• Choi 등(2018)의 초세밀 엔티티 타이핑 벤치마크를 평가하기 위해, 세 수준의 세밀도에서 10,000개 이상의 레이블 유형을 포함한다.
• 학습된 노이즈 제거가 원래 레이블 세트를 초월해 일반화되어, 온토노트 스키마에 레이블을 투영할 경우에도 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 소규모 수동 레이블이 부여된 데이터에 합성 노이즈를 주입하여, 너무 노이즈가 많거나 신뢰할 수 없는 것으로 간주되는 원거리 레이블 예제를 식별하고 제거하는 데 목적이 있는 필터링 함수를 훈련한다.
• 엔티티와 레이블의 공동 임베딩을 활용하여 노이즈가 있는 레이블을 더 정확하고 인간 레이블러와 유사한 레이블로 변환하는 재레이블링 함수를 훈련한다.
• 노이즈가 있는 예제에 대해 조건부 노이즈 제거 오토인코더 유사 목적함수를 사용하여, 노이즈에서 진짜 레이블로의 매핑을 학습할 수 있도록 양 함수를 훈련한다.
• 노이즈 제거 모델은 최종 엔티티 타이핑 모델의 아키텍처를 그대로 모방하며, 입력과 레이블 표현 모두에 ELMo 임베딩을 사용한다.
• 최종 모델은 수동 레이블이 부여된 데이터와 노이즈가 제거된 원거리 데이터의 조합으로 표준 지도 학습을 사용하여 훈련하며, 훈련 절차에 변화 없이 진행된다.
• 이 접근법은 초세밀 엔티티 타이핑 데이터셋(Choi 등, 2018)을 사용하여 두 원거리 지도 학습 소스인 엔티티 링킹(EL)과 헤드 워드 히우리스틱(HEAD)에서 평가된다.

실험 결과

연구 질문

• RQ1 학습된 노이즈 제거 모델이 원거리 레이블이 부여된 데이터에 적용되었을 때 초세밀 엔티티 타이핑 성능을 향상시킬 수 있는가?
• RQ2 노이즈가 제거된 원거리 데이터로 훈련된 모델의 성능은 원시 원거리 데이터 또는 히우리스틱으로 노이즈를 제거한 데이터로 훈련된 모델과 비교해 어떻게 되는가?
• RQ3 노이즈 제거 과정이 초세밀 유형을 포함한 누락되거나 잘못된 레이블을 얼마나 복구하는가?
• RQ4 노이즈 제거 프레임워크는 온토노트 스키마와 같은 다른 레이블 스키마로 일반화되는가?
• RQ5 필터링 및 재레이블링 함수가 노이즈가 있는 레이블을 효과적으로 식별하고 수정하면서도 유용한 예제를 유지할 수 있는가?

주요 결과

• 제안된 노이즈 제거 프레임워크는 ELMo 기반 베이스라인 모델 대비 3.0 F1 절대 향상으로 초세밀 엔티티 타이핑 벤치마크에서 새로운 최신 기술 수준(SOTA) 성능을 확립한다.
• 원시 원거리 데이터로 단순 훈련한 경우 대비 4.4 F1 향상으로, 원거리 지도 학습을 효과적으로 활용하기 위해 노이즈 제거가 필수적임을 보여준다.
• 재레이블링 함수는 EL 예제당 평균 2.03개의 초세밀 유형과 HEAD 예제당 평균 1.15개의 초세밀 유형을 추가로 복구하여, 세밀도가 높은 레이블의 손실을 크게 회복한다.
• 필터링 함수는 EL 예제의 9.4%와 HEAD 예제의 10.0%를 제거하여, 원거리 데이터의 상당 부분이 유용하지 않다는 것을 시사한다.
• 노이즈가 제거된 데이터는 온토노트 스키마에 레이블을 투영한 경우에도 성능 향상에 기여하며, 이 경우 원래 Choi 등(2018)의 방법을 능가한다.
• 결과적으로, 합성 노이즈로 훈련된 종단간 학습된 노이즈 제거 방식이 이 작업에 대해 히우리스틱 기반 필터링 및 재레이블링보다 더 잘 일반화됨을 보여준다.