[논문 리뷰] HERB: Measuring Hierarchical Regional Bias in Pre-trained Language Models

Yizhi Li, Ge Zhang외 5명|arXiv (Cornell University)|2022. 11. 05.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

이 논문은 하위 지역 군집화와 서술 벡터를 활용하여 지역적 스테레오타입의 일관성 부족을 측정하기 위해 계층적 메트릭인 HERB를 소개한다. 실험 결과 HERB는 다양한 주제에 걸쳐 계층적 지역적 편향을 효과적으로 탐지하고 측정하며, 어휘 선택에 대해 강건하고 유해한 사전 훈련 데이터와 상관관계가 있음을 보여준다.

ABSTRACT

Fairness has become a trending topic in natural language processing (NLP), which addresses biases targeting certain social groups such as genders and religions. However, regional bias in language models (LMs), a long-standing global discrimination problem, still remains unexplored. This paper bridges the gap by analysing the regional bias learned by the pre-trained language models that are broadly used in NLP tasks. In addition to verifying the existence of regional bias in LMs, we find that the biases on regional groups can be strongly influenced by the geographical clustering of the groups. We accordingly propose a HiErarchical Regional Bias evaluation method (HERB) utilising the information from the sub-region clusters to quantify the bias in pre-trained LMs. Experiments show that our hierarchical metric can effectively evaluate the regional bias with respect to comprehensive topics and measure the potential regional bias that can be propagated to downstream tasks. Our codes are available at https://github.com/Bernard-Yang/HERB.

연구 동기 및 목표

• 사전 훈련된 언어 모델에 지역적 편향이 존재하는지, 특히 지리적 군집화와 관련하여 존재하는지 조사하기 위해.
• 기존의 편향 평가 방법이 계층적 지역 구조를 고려하지 못하는 격차를 보완하기 위해.
• 하위 지역의 일관성 부족을 반영하고 하류 작업으로의 편향 전파를 반영하는 원칙적인 계층적 평가 메트릭을 설계하기 위해.
• 메트릭이 어휘 선택 변화에 대해 강건한지, 그리고 유해한 훈련 데이터에 민감한지 검증하기 위해.

제안 방법

• HERB는 템플릿 기반 접근을 사용한다: '[지역]의 사람들은 [기술회절]'을 통해 사전 훈련된 모델로부터 맥락에 특화된 가능성 값을 생성한다.
• 각 기술어에 대해 지역 특화 맥락 가능성 값을 캡처하기 위해 서술 벡터를 도입한다.
• 이 방법은 서술 벡터 공간에서 하위 지역 군집의 희박성으로 지역 편향을 모델링하며, 높은 희박성일수록 더 큰 일관성 부족과 편향을 의미한다.
• 하위 지역에 대한 군집화를 적용하여 하위 지역 수준과 더 높은 수준의 지역 그룹 수준에서 편향을 평가한다.
• 메트릭은 두 가지 기준을 충족하도록 설계되었다: (1) 더 높은 수준의 평가를 위해 하위 지역 구조를 활용하고, (2) 동일한 지역 수준 내의 격차를 탐지한다.
• 강건성은 기술어를 의미적으로 유사한 단어로 대체하고 점수 안정성을 측정함으로써 테스트한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델에 지역적 편향이 존재하는가, 특히 지역의 지리적 군집화를 고려할 때?
• RQ2 지역적 편향은 계층적으로 구성될 수 있는가, 하위 지역이 더 높은 수준의 그룹과 비교해 일관성 없는 판단을 보이는가?
• RQ3 계층적 지역 그룹화와 하위 지역 격차를 고려하여 지역적 편향을 정량적으로 측정할 수 있는 방법은 무엇인가?
• RQ4 제안된 메트릭이 기술어 선택 변화에 대해 어느 정도 강건한가?
• RQ5 HERB 점수는 사전 훈련 기간 동안 편향된 훈련 데이터의 통합을 반영할 수 있는가?

주요 결과

• HERB는 계층적 지역적 편향을 성공적으로 탐지하였으며, 모델이 동일한 고위 지역 내 하위 지역에 대해 일관성 없는 가능성 값을 할당하는 경향이 있음을 보여주며, 예를 들어 영국이 다른 유럽 국가들과 다를 수 있음을 시사한다.
• 메트릭은 강건성을 보였다: 기술어를 의미적으로 유사한 단어로 대체해도 HERB 점수에 최소한의 변화가 있었으며, 이는 신뢰성의 확인이다.
• HERB 점수는 계속적인 사전 훈련에 사용된 유해한 지역 편향 문장의 수와 정적 상관관계를 보이며, 편향된 데이터 노출에 민감함을 시사한다.
• 지역 편향의 계층적 구조는 표현 내재화뿐 아니라 하류 작업으로까지 전파되며, 계층적 평가의 필요성을 검증한다.
• RoBERTa 및 ALBERT와 같은 모델들은 외모, 지능, 도덕성 등의 주제에서 측정 가능한 지역적 편향을 보이며, 극단적인 경우 '이마를 감싸는' 등의 표현이 특정 지역과 비례적으로 더 많이 연관되어 있다.