[논문 리뷰] Challenges in Measuring Bias via Open-Ended Language Generation

Afra Feyza Akyürek, Muhammed Yusuf Kocyigit외 2명|arXiv (Cornell University)|2022. 05. 23.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 개방형 언어 생성에서 실험 설계 선택 사항—예를 들어 프롬프트 세트, 디코딩 초모수, 메트릭, 자동 도구—이 편향 측정에 미치는 영향을 조사한다. 동일한 모델이 서로 다른 설정에서 일관되지 않은 편향 점수를 보이는 것으로 나타나, 오해를 초래하거나 기술적 설계 편향이 편향 평가에 영향을 미치는 것을 방지하기 위해 표준화되고 종합적인 보고 체계가 필요하다고 주장한다.

ABSTRACT

Researchers have devised numerous ways to quantify social biases vested in pretrained language models. As some language models are capable of generating coherent completions given a set of textual prompts, several prompting datasets have been proposed to measure biases between social groups -- posing language generation as a way of identifying biases. In this opinion paper, we analyze how specific choices of prompt sets, metrics, automatic tools and sampling strategies affect bias results. We find out that the practice of measuring biases through text completion is prone to yielding contradicting results under different experiment settings. We additionally provide recommendations for reporting biases in open-ended language generation for a more complete outlook of biases exhibited by a given language model. Code to reproduce the results is released under https://github.com/feyzaakyurek/bias-textgen.

연구 동기 및 목표

• 개방형 언어 생성에서 실험 설계의 변동이 편향 측정에 미치는 영향을 조사하는 것.
• 프롬프트 세트, 디코딩 설정, 메트릭, 자동 도구와 같은 핵심 요소들이 일관되지 않은 편향 결과를 초래하는 이유를 규명하는 것.
• 기술적 설계 편향이 언어 모델의 편향 평가를 왜곡할 수 있는 위험을 부각하는 것.
• 재현성과 신뢰도를 향상시키기 위해 편향 평가를 위한 종합적이고 다차원적인 보고 체계를 제안하는 것.
• 인간 평가와 다양한 메트릭 도구를 통합함으로써 투명성과 체계적인 평가를 장려하는 것.

제안 방법

• 저자는 성별, 인종, 종교를 대상으로 하는 여러 프롬프트 세트를 사용해 GPT-3의 생성 결과를 평가한다.
• 디코딩 초모수(온도, top-p)를 다양하게 조정하고, 다양한 자동 메트릭(BOLD, 독성, 감성 등)을 적용해 편향을 평가한다.
• 모델 출력을 성별 그룹(예: 남성 대 비성별 프롬프트) 간 비율 기반 비교를 통해 편향을 측정한다.
• 다양한 자동 도구(BOLD, Perspective API 등) 간의 결과를 비교하여 도구에 따라 달라지는 편향 점수의 변동성을 평가한다.
• 프롬프트 세트, 메트릭, 도구, 디코딩 설정 간의 편향을 체계적으로 비교하기 위해 이차원 보고 체계를 제안한다. 이는 이차원 랭킹보드와 유사하다.
• 자동 도구의 보완으로 인간 평가를 권장하여 모델 출력이 인간 판단과 얼마나 일치하는지 검증한다.

실험 결과

연구 질문

• RQ1 다양한 프롬프트 세트는 개방형 언어 생성에서 측정된 편향에 어떻게 영향을 미치는가?
• RQ2 디코딩 초모수(예: 온도, top-p)는 편향 측정 결과에 어느 정도의 영향을 미치는가?
• RQ3 다른 자동 메트릭 및 도구(예: BOLD, Perspective API)는 동일한 모델과 프롬프트 세트에 대해 왜 다른 편향 점수를 산출하는가?
• RQ4 실험 설계의 변동은 모델의 편향에 대한 일관되지 않거나 모순된 결론을 어떻게 초래하는가?
• RQ5 어떤 보고 체계가 언어 생성에서 더 신뢰할 수 있고 투명하며 재현 가능한 편향 평가를 보장할 수 있는가?

주요 결과

• 동일한 모델에 적용되더라도 다양한 프롬프트 세트는 상당히 다른 편향 점수를 산출하며, 이는 프롬프트 선택이 결과에 중대한 영향을 미친다는 것을 시사한다.
• 온도 및 top-p와 같은 디코딩 초모수는 편향 측정에 영향을 미치며, 높은 온도는 변동성을 증가시키고 편향을 악화시킬 수 있다.
• BOLD 및 Perspective API와 같은 자동 도구는 동일한 모델 출력에 대해 서로 다른 편향 점수를 산출하여 도구에 따라 달라지는 편향 추정의 문제를 드러낸다.
• 동일한 모델은 프롬프트 세트, 메트릭, 도구의 조합에 따라 매우 편향이 있거나 거의 중립적이라고 평가될 수 있다.
• 연구는 실험 설계 선택 사항—일반적으로 부차적인 것으로 간주되지만—기술적 편향을 초래할 수 있으며, 이는 편향 평가의 타당성을 해칠 수 있음을 입증한다.
• 저자는 표준화되고 다차원적인 보고 체계가 오해의 소지 있는 해석을 방지하고 투명성을 확보하기 위해 필수적임을 보여준다.