[논문 리뷰] Automatic Noisy Label Correction for Fine-Grained Entity Typing

Weiran Pan, Wei Wei외 1명|arXiv (Cornell University)|2022. 05. 06.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 사전 학습된 모델의 로그릿에서 후행 확률 추정을 통해 모호한 레이블을 식별하고, 이를 바탕으로 정제된 데이터로 재학습하는 자원이 없는 새로운 방법을 제안한다. 이는 계층적 유형 구조나 수동으로 레이블링된 서브셋을 요구하지 않으며, 두 가지 벤치마크에서 상태의 성능을 달성함으로써 강력한 레이블 보정을 통한 미세한 실체 유형 지정(FET) 성능 향상을 보여준다.

ABSTRACT

Fine-grained entity typing (FET) aims to assign proper semantic types to entity mentions according to their context, which is a fundamental task in various entity-leveraging applications. Current FET systems usually establish on large-scale weakly-supervised/distantly annotation data, which may contain abundant noise and thus severely hinder the performance of the FET task. Although previous studies have made great success in automatically identifying the noisy labels in FET, they usually rely on some auxiliary resources which may be unavailable in real-world applications (e.g. pre-defined hierarchical type structures, human-annotated subsets). In this paper, we propose a novel approach to automatically correct noisy labels for FET without external resources. Specifically, it first identifies the potentially noisy labels by estimating the posterior probability of a label being positive or negative according to the logits output by the model, and then relabel candidate noisy labels by training a robust model over the remaining clean labels. Experiments on two popular benchmarks prove the effectiveness of our method. Our source code can be obtained from https://github.com/CCIIPLab/DenoiseFET.

연구 동기 및 목표

• 미세한 실체 유형 지정(FET)에서 심각하게 모델 성능을 저해하는 노이즈가 있는 레이블 문제를 해결하기 위해.
• 계층적 유형 구조나 수동으로 레이블링된 서브셋과 같은 보조 자원에 의존하지 않고 노이즈가 있는 레이블을 보정하는 방법을 개발하기 위해.
• 모델의 불확실성을 유발하는 '모호한 레이블'을 탐지하여 기대되는 후행 확률과의 이격도를 측정함으로써 잠재적으로 노이즈가 있는 레이블을 식별하기 위해.
• 노이즈가 있는 레이블 탐지와 정제된 데이터로의 재학습이라는 두 단계 과정을 통해 FET 모델의 강인성과 성능을 향상시키기 위해.
• Ultra-Fine와 OntoNotes와 같은 널리 사용되는 FET 벤치마크에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 사전 학습된 FET 모델의 로그릿을 사용하여 레이블이 양성 또는 음성일 확률을 후행 확률로 추정하고, 이를 양성 및 음성 레이블에 대해 두 개의 정규분포로 피팅한다.
• 원래의 애너테이션과 추정된 후행 확률 간의 불일치를 측정하여 잠재적으로 노이즈가 있는 레이블을 식별하고, 일치도가 낮은 레이블을 선별한다.
• 식별된 노이즈가 있는 레이블을 비라벨 데이터로 간주하고, 나머지 깨끗한 레이블을 기반으로 준지도 학습 전략을 사용하여 모델을 재학습한다.
• 재학습 과정에서 재라벨링된 노이즈가 있는 샘플에 대해 모델이 확신 있는 예측을 하도록 유도하기 위해 엔트로피 정규화를 통합한다.
• 대규모 FET 데이터셋에 대해 다중 라운드 학습이 불가능한 상황을 고려해 단일 루프 내에서 반복적으로 적용하는 방식을 취한다.
• 특히 긴 꼬리형 유형 분포에서 가능성을 왜곡시키는 명백한 노이즈 레이블(이상치)을 제거하기 위한 필터링 단계를 포함한다.

실험 결과

연구 질문

• RQ1 계층적 유형 구조나 수동으로 레이블링된 서브셋과 같은 외부 자원에 의존하지 않고, 미세한 실체 유형 지정(FET)에서 노이즈가 있는 레이블을 보정할 수 있는가?
• RQ2 모델의 불확실성을 유발하는 '모호한 레이블'은 어떻게 효과적으로 식별하고 깨끗한 레이블과 분리할 수 있는가?
• RQ3 노이즈가 있는 레이블을 보정함으로써 표준 벤치마크에서 FET 모델 성능은 어느 정도 향상되는가?
• RQ4 기존의 노이즈 제거 기법과 비교했을 때 제안된 방법은 강인성과 일반화 능력 측면에서 어떻게 다른가?
• RQ5 극단적인 이상치 제거와 엔트로피 정규화를 적용했을 때 레이블 보정의 효과성은 어떤 영향을 미치는가?

주요 결과

• 명백한 노이즈 레이블을 필터링하지 않은 상태에서 Ultra-Fine 데이터셋에서 매크로 평균 F1 점수가 0.5% 향상되어, 긴 꼬리형 설정에서 이방치 제거의 중요성을 입증한다.
• 엔트로피 정규화는 모든 데이터셋에서 성능 향상을 크게 개선하여, 재라벨링된 데이터로 준지도 학습을 수행함으로써 모델의 일반화 능력이 향상됨을 시사한다.
• 원래 노이즈가 있는 데이터로 학습된 베이스라인 모델보다 제안된 방법이 성능에서 뛰어나며, 레이블 보정 후 언급 임베딩의 T-SNE 시각화에서 더 명확한 결정 경계가 관찰된다.
• 사례 연구 결과, 방법이 누락된 미세한 유형을 회복하고 잘못된 양성 레이블을 제거하여 더 정확하고 포괄적인 유형 집합을 생성함을 확인했다.
• 아블레이션 연구를 통해 이상치 제거와 엔트로피 정규화 모두 최적의 성능을 내기 위해 필수적임을 입증하였으며, 특히 긴 꼬리형 유형 분포를 가진 데이터셋에서 그 중요성이 뚜렷하다.
• Ultra-Fine와 OntoNotes 벤치마크 양쪽에서 제안된 방법이 최고 성능을 기록하여, 외부 자원 없이도 효과성과 일반화 능력을 입증하였다.