[논문 리뷰] A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions

Rajesh Ranjan, Shailja Gupta외 1명|arXiv (Cornell University)|2024. 09. 24.

Artificial Intelligence in Law인용 수 9

한 줄 요약

본 논문은 대형 언어 모델의 편향을 조사하고, 편향 유형, 원인, 영향, 완화 전략 및 향후 연구 방향을 자세히 설명한다.

ABSTRACT

Large Language Models(LLMs) have revolutionized various applications in natural language processing (NLP) by providing unprecedented text generation, translation, and comprehension capabilities. However, their widespread deployment has brought to light significant concerns regarding biases embedded within these models. This paper presents a comprehensive survey of biases in LLMs, aiming to provide an extensive review of the types, sources, impacts, and mitigation strategies related to these biases. We systematically categorize biases into several dimensions. Our survey synthesizes current research findings and discusses the implications of biases in real-world applications. Additionally, we critically assess existing bias mitigation techniques and propose future research directions to enhance fairness and equity in LLMs. This survey serves as a foundational resource for researchers, practitioners, and policymakers concerned with addressing and understanding biases in LLMs.

연구 동기 및 목표

• 다양한 애플리케이션에서 안전한 배포를 위해 LLM의 편향을 이해해야 할 필요성을 동기 부여한다.
• 원인 및 영향 등을 포함한 여러 차원에서 편향을 분류한다.
• LLM의 편향과 완화에 관한 현 연구의 결과를 종합한다.
• LLM의 공정성과 형평성을 높이기 위한 향후 방향을 제안한다.

제안 방법

• 여러 차원으로 편향을 체계적으로 분류한다.
• 편향 유형, 원인 및 영향에 관한 기존 연구 결과를 종합한다.
• 현행 편향 완화 기법에 대한 비판적 평가를 수행한다.
• 현실 세계에의 함의 및 정책적 고려사항을 논의한다.
• LLM의 공정성 향상을 위한 향후 연구 방향을 제안한다.

실험 결과

연구 질문

• RQ1 LLM에 존재하는 주된 편향 유형과 그 원인은 무엇인가?
• RQ2 LLM의 편향이 실제 애플리케이션과 사용자에게 어떤 영향을 미치는가?
• RQ3 LLM 편향에 대한 어떤 완화 전략이 존재하며 맥락에 따라 얼마나 효과적인가?
• RQ4 LLM의 공정성과 형평성을 개선하기 위해 어떤 향후 방향이 권고되는가?

주요 결과

• LLM의 편향은 유형, 원인, 영향 등 여러 차원에 걸쳐 있다.
• 현 연구는 편향 유형, 기원 및 응용에서의 결과를 종합적으로 제시한다.
• 완화 기술이 존재하지만 비판적 평가와 맥락 전반에 걸친 더 폭넓은 평가가 필요하다.
• 본 논문은 LLM 배포의 공정성과 형평성을 높이기 위한 향후 방향을 제시한다.