[논문 리뷰] Detecting Label Errors in Token Classification Data

Wei-Chen Wang, Jonas Mueller|arXiv (Cornell University)|2022. 10. 08.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 토큰 분류 데이터셋에서 레이블 오류를 포함한 문장을 탐지하기 위해, 문장 내 모든 토큰의 레이블에 대한 예측 신뢰도 중 가장 낮은 값을 기반으로 문장을 평가하는 worst-token 방법을 제안한다. CoNLL-2003에서 실제 발생한 레이블 오류를 사용해 11가지 방법을 평가한 결과, worst-token는 특히 자기 신뢰도 스코링과 조합했을 때 정밀도-재현도 측면에서 다른 방법들을 일관되게 능가하며, 모델 앙상블나 복잡한 재학습이 필요 없이 단순하고 효율적이며 효과적인 오라벨링 데이터 식별 방법을 제공한다.

ABSTRACT

Mislabeled examples are a common issue in real-world data, particularly for tasks like token classification where many labels must be chosen on a fine-grained basis. Here we consider the task of finding sentences that contain label errors in token classification datasets. We study 11 different straightforward methods that score tokens/sentences based on the predicted class probabilities output by a (any) token classification model (trained via any procedure). In precision-recall evaluations based on real-world label errors in entity recognition data from CoNLL-2003, we identify a simple and effective method that consistently detects those sentences containing label errors when applied with different token classification models.

연구 동기 및 목표

• 토큰 분류 데이터셋에서 레이블 오류를 포함한 문장을 효과적으로 식별하는 방법을 규명하는 것.
• 합성 오류가 아닌 실제 세계에서 자연스럽게 발생한 레이블 오류를 대상으로 레이블 오류 탐지 성능을 평가하는 것.
• 각 토큰의 예측 신뢰도 기반 스코링을 통해 전체 문장을 평가하는 방법을 개발하여, 잘못 레이블링된 예제를 효율적으로 검토할 수 있도록 하는 것.
• 신뢰도 기반 스코링 방법과 하드 예측 기반 접근법 간의 레이블 오류 탐지 효과성을 비교하는 것.
• NLP 데이터셋에서 레이블 오류 탐지에 대해 단순하고 모델에 종속되지 않으며 계산 비용이 적은 솔루션을 제공하는 것.

제안 방법

• worst-token 방법은 문장 내 모든 토큰의 진짜 레이블에 대한 예측 확률 중 최소값을 기반으로 문장을 스코링한다.
• 모델 출력 확률에서 유도된 토큰 수준의 레이블 품질 스코어를 사용한다: 자기 신뢰도(p_ik), 정규화된 마진(p_ik - p_i~k), 신뢰도 가중 엔트로피(p_ik / H(p_i)).
• 문장은 worst-token 스코어 기준으로 순위를 매기며, 낮은 값일수록 적어도 하나의 잘못 레이블링된 토큰을 포함할 가능성이 높다는 의미이다.
• 이 방법은 모델에 종속되지 않으며, 어떤 훈련된 토큰 분류기와도 작동하며, 샘플 외 예측 결과만 필요로 한다.
• 두 번째로 낮은 스코어나 Confident Learning 플래그를 고려함으로써 강건성을 향상시키기 위해 worst-token-softmin 및 worst-token-min-alt와 같은 변형을 탐색한다.
• 실제 CoNLL-2003 개체 인식 데이터에서 자연스럽게 발생한 오류를 대상으로 정밀도-재현도, AUPRC, AUROC 메트릭을 사용해 평가를 수행한다.

실험 결과

연구 질문

• RQ1 실제 토큰 분류 데이터에서 레이블 오류를 포함한 문장을 가장 효과적으로 식별하는 레이블 품질 스코링 방법은 무엇인가?
• RQ2 신뢰도 기반 스코링 방법의 성능은 하드 예측 기반 방법과 비교해 어떻게 다른가?
• RQ3 BERT, XLM 등 다양한 사전 훈련된 모델과 데이터 분할에서, worst-token과 같은 단순하고 모델에 종속되지 않은 방법이 더 복잡한 앙상블 기반 접근법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 두 번째로 높은 또는 추가적인 신뢰도 스코어를 통합하면 잘못 레이블링된 문장 탐지 성능이 향상되는가?
• RQ5 다양한 사전 훈련된 모델(BERT, XLM 등)과 데이터 분할에서 레이블 오류 탐지 성능는 어떻게 달라지는가?

주요 결과

• 자기 신뢰도 스코링을 사용한 worst-token 방법은 BERT 모델에서 Lift@#Errors가 9.02로 가장 높게 기록되었으며, 모든 모델과 데이터 분할에서 다른 방법들을 일관되게 능가했다.
• worst-token-softmin은 두 번째로 낮은 토큰 신뢰도를 고려함으로써 worst-token보다 약간 더 높은 Lift@#Errors 성능을 기록했으며, 거짓 양성(false positive)을 줄였다.
• 모든 모델에서 AUROC 스코어가 0.90 이상을 기록하여 오류를 포함한 문장을 식별하는 데 강력한 분류 능력을 보였다.
• 신뢰도 가중 엔트로피(cwe)는 자기 신뢰도와 정규화된 마진에 비해 성능이 떨어졌으며, 특히 AUPRC와 Lift 메트릭에서 열등했다.
• worst-token-min-alt 및 worst-token-softmin과 같은 변형은 유의미한 성능 향상을 이끌어내지 못했고, 추정 오차에 더 민감한 경향을 보였으며, 이는 기본 worst-token 방법의 사용을 정당화한다.
• 실제 세계의 레이블 오류는 합성 오류와 다르며, 합성 데이터로 훈련된 방법은 실제 데이터셋에 일반화되는데 효과적이지 않다는 점을 확인했다.