[논문 리뷰] Entity-Switched Datasets: An Approach to Auditing the In-Domain Robustness of Named Entity Recognition Models

Oshin Agarwal, Yinfei Yang외 2명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling참고 문헌 14인용 수 21

한 줄 요약

이 논문은 동일한 도메인 내에서 다양한 국적의 명시적 실체(entity)에 대해 NER(이름 추출) 모델의 내부 도메인 내 강건성(robustness)을 점검하기 위해 실체를 서로 다른 국적의 타당한 대체물로 교체한 실체 교체 데이터셋을 도입한다. 이는 맥락을 유지하면서도 실체를 다른 국적의 것으로 교체함으로써 이루어진다. 연구 결과, 최첨단 NER 모델들이 국적에 따라 상당한 성능 변동을 보이며, 미국 및 인도 국적 실체에서 가장 높은 F1 점수를 기록하고 베트남 및 인도네시아 국적 실체에서 가장 낮은 점수를 기록함을 확인하였다. 이는 현재 시스템의 공정성 및 일반화 능력에 대한 격차를 드러낸다.

ABSTRACT

Named entity recognition systems perform well on standard datasets comprising English news. But given the paucity of data, it is difficult to draw conclusions about the robustness of systems with respect to recognizing a diverse set of entities. We propose a method for auditing the in-domain robustness of systems, focusing specifically on differences in performance due to the national origin of entities. We create entity-switched datasets, in which named entities in the original texts are replaced by plausible named entities of the same type but of different national origin. We find that state-of-the-art systems' performance vary widely even in-domain: In the same context, entities from certain origins are more reliably recognized than entities from elsewhere. Systems perform best on American and Indian entities, and worst on Vietnamese and Indonesian entities. This auditing approach can facilitate the development of more robust named entity recognition systems, and will allow research in this area to consider fairness criteria that have received heightened attention in other predictive technology work.

연구 동기 및 목표

• 동일한 도메인 내에서 실체의 다양한 국적에 대해 NER 모델의 체계적 평가가 부족한 문제를 해결하기 위해.
• 최첨단 NER 모델이 다양한 국가 출신의 실체에 대해 동일하게 일반화되는지 조사하기 위해.
• 다양하고 맥락을 유지하는 데이터셋을 스케일링 가능한 프로그래밍 방식으로 생성하여 내부 도메인 내 강건성 테스트를 위한 방법 개발하기 위해.
• 특히 소수자국 출신 실체에 대해 국적 기반 공정성 문제를 폭 드러내기 위해.
• 모델 카드 보고서를 지원하기 위해 시스템의 강점과 약점을 실체 그룹별로 점검할 수 있도록 하기 위해.

제안 방법

• 원본 텍스트 내 명시적 실체를 동일한 유형이지만 다른 국적의 타당한 실체로 교체하여 실체 교체 데이터셋을 생성한다.
• 국가별 실체 교체를 통해 텍스트의 통일성을 유지하며, 전체 실체 및 단지 PER(Person) 실체에 대해 별도의 버전을 준비한다.
• 기존 NER 데이터셋(예: CoNLL-2003)을 기반으로 하며, 상위 수도시 국가들의 실체를 수록한 목록을 활용해 자동으로 교체한다.
• 문장 구조 및 의미 패턴을 유지함으로써 맥락 일관성을 확보하며, 'ORG 신문사', 'LOC 날짜'와 같은 일반 템플릿도 포함한다.
• 최첨단 NER 모델(BERT, Lample, Devlin 등)을 원본 및 교체된 데이터셋 모두에 적용하여 성능 변화를 측정한다.
• 모델 예측의 오류 분석을 수행하여, 맥락적 신호를 忽시하고 단어의 정체성에 의존하는 등의 실패 유형을 규명한다.

실험 결과

연구 질문

• RQ1 실체가 다른 국적의 것으로 교체되었을 때 최첨단 NER 모델의 성능은 어떻게 변하는가?
• RQ2 비모국 출신 실체를 인식할 때 NER 모델은 단어 정체성에 더 의존하는가, 맥락적 신호에 더 의존하는가?
• RQ3 동일한 내부 도메인 맥락 내에서도 국적에 따라 체계적인 성능 격차가 존재하는가?
• RQ4 실체 교체 데이터셋은 NER 모델의 강건성 및 공정성 문제를 효과적으로 폭 드러낼 수 있는가?
• RQ5 일반적인 맥락 패턴(예: '신문사 이름', '팀명')은 실체의 국적에 따라 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 최첨단 NER 모델은 미국 및 인도 국적 실체에서 가장 높은 F1 점수를 기록하며, BERT의 경우 이들 국적에서 F1이 98.0을 초과한다.
• 베트남 및 인도네시아 국적 실체에서는 성능이 크게 하락하며, BERT는 각각 89.8 F1과 92.0 F1을 기록하여 일반화 능력이 떨어지는 것으로 나타났다.
• 즉, '신문사' 다음에 이름이 오는 등 강력한 맥락적 신호가 존재함에도 불구하고, 모델은 교체된 데이터셋에서 베트남 및 인도네시아 국적 이름을 ORG로 올바르게 식별하지 못하는 경우가 많다.
• 모델은 종종 맥락보다 단어 정체성에 기반해 실체를 잘못 분류하는 경향이 있으며, 훈련 데이터에서 일관된 패턴이 존재함에도 불구하고 다른 국적 출신 이름은 잘못 분류되는 경우가 있다.
• 동일한 패턴에 대해 모델의 행동이 일관되지 않음을 확인할 수 있었다. 예를 들어, 'LOC 날짜' 패턴은 베트남 국적 실체일 경우 LOC로 잘못 분류되는 경우가 많았으며, 이는 맥락 무시 예측을 의미한다.
• 독일 국적 실체에 대해서는 국적에 관계없이 높은 성능을 유지하며, 이는 일부 국적 출신 실체가 다른 국적 출신보다 더 잘 인식된다는 것을 시사한다.