[논문 리뷰] Quantifying Social Biases Using Templates is Unreliable

Preethi Seshadri, Pouya Pezeshkpour외 1명|arXiv (Cornell University)|2022. 10. 09.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 대규모 언어 모델에서 템플릿 기반 평가 방법을 사용할 경우 편향 측정이 매우 불안정하고 신뢰할 수 없다는 것을 입증한다. 미묘한 의미 유지형 템플릿 수정만으로도 편향 점수가 최대 162%까지 변동하기 때문이다. 이 연구는 템플릿 선택이 공정성 결론에 결정적인 영향을 미친다는 점을 드러내며, 연구자들이 현재의 제한적이고 임의의 템플릿 세트에 의존하는 것 대신 더 포괄적이고 인간이 개입한 기준에 기반한 벤치마킹 접근 방식을 채택할 것을 촉구한다.

ABSTRACT

Recently, there has been an increase in efforts to understand how large language models (LLMs) propagate and amplify social biases. Several works have utilized templates for fairness evaluation, which allow researchers to quantify social biases in the absence of test sets with protected attribute labels. While template evaluation can be a convenient and helpful diagnostic tool to understand model deficiencies, it often uses a simplistic and limited set of templates. In this paper, we study whether bias measurements are sensitive to the choice of templates used for benchmarking. Specifically, we investigate the instability of bias measurements by manually modifying templates proposed in previous works in a semantically-preserving manner and measuring bias across these modifications. We find that bias values and resulting conclusions vary considerably across template modifications on four tasks, ranging from an 81% reduction (NLI) to a 162% increase (MLM) in (task-specific) bias measurements. Our results indicate that quantifying fairness in LLMs, as done in current practice, can be brittle and needs to be approached with more care and caution.

연구 동기 및 목표

• 대규모 언어 모델의 공정성 평가에 사용되는 평가 템플릿의 미세한, 의미 유지형 변화에 대한 편향 측정의 민감도를 조사하는 것.
• 동일한 기저 편향 시나리오를 다양한 어휘로 표현한 템플릿을 사용했을 때, 템플릿 기반 공정성 벤치마크가 일관되고 신뢰할 수 있는 결과를 도출하는지 평가하는 것.
• 현재 편향 평가에서 최소한의 수작업으로 선별된 템플릿 세트에 대한 의존이 모델의 공정성에 대한 오해의 결론을 이끌 수 있다는 점을 도전하는 것.
• 단순한 템플릿 기반 진단 방식 대신 더 포괄적이고 다양한, 인간이 검증한 기준에 기반한 벤치마킹 전략을 주장하는 것.

제안 방법

• 기존의 사전 연구에서 사용된 템플릿을 의미를 유지하는 방식으로 수동으로 수정하여 핵심 의미는 유지하지만 어휘가 다른 대체 버전을 생성하는 것.
• 원본 및 수정된 템플릿을 사용해 감성 분석, 독성 탐지, 자연어 추론(NLI), 마스킹 언어 모델링(MLM)의 네 가지 NLP 작업에 적용하는 것.
• 카이제곱 검정 등의 통계적 검정을 사용해 작업별 편향을 측정하고, 성별 편향을 비교함으로써 원본 및 수정된 템플릿 간 결과의 차이를 평가하는 것.
• 편향 결과를 분류(예: 유의미한 vs. 유의미하지 않은)하여 템플릿 변형 간 일관성 여부를 평가하는 것.
• 수정에 따른 편향 점수 변화의 크기를 정량화하여 원본 측정치 대비 백분율 증감 또는 감소를 보고하는 것.
• 모델 독립적 접근 방식을 사용해 수정 사항이 일관되고 의미 있는지 확인하며, 악성 또는 인간의 개입이 포함된 생성 방식을 피하는 것.

실험 결과

연구 질문

• RQ1 편향 측정은 템플릿 어휘의 미세한, 의미 유지형 변화에 얼마나 민감한가?
• RQ2 템플릿 수정이 모델이 유의미한 편향을 보이는지 여부에 대한 결론을 어느 정도 변화시키는가?
• RQ3 동일한 기저 편향 시나리오의 다양한 템플릿 버전 간 편향 점수는 어느 정도 변동할 수 있는가?
• RQ4 유사하게 재구성된 템플릿을 사용했을 때, 현재의 템플릿 기반 공정성 평가가 일관된 결과를 도출하는가?

주요 결과

• 편향 측정은 템플릿 수정에 따라 크게 변동하였으며, NLI 작업에서는 최대 81% 감소한 편향 점수를 기록했다.
• 마스킹 언어 모델링(MLM)에서는 템플릿 수정 후 편향 점수가 최대 162% 증가하여 모델 행동에 대한 인식 변화가 뚜렷하게 나타났다.
• 감성 분석에서는 수정된 템플릿 중 33%가 원본 템플릿과 비교해 다른 분류(유의미한 vs. 유의미하지 않은 편향)를 유도했다.
• 독성 탐지에서는 템플릿 수정 후 편향 점수가 최대 127% 증가하여 평가 결과의 불안정성을 드러냈다.
• 연구는 모델의 공정성에 대한 결론이 의미 내용이 거의 동일한 상황에서도 템플릿 선택에 매우 의존한다는 점을 발견했다.
• 이러한 결과는 템플릿 기반 공정성 평가가 취약하며, 모델 편향에 대한 일관되거나 오해의 소지가 있는 결론을 이끌 수 있음을 시사한다.