[논문 리뷰] Cognitive Bias in Decision-Making with LLMs

Jessica Maria Echterhoff, Yao Liu외 3명|arXiv (Cornell University)|2024. 02. 25.

Big Data and Business Intelligence인용 수 12

한 줄 요약

BiasBuster 프레임워크는 고위험 의사결정에서 LLM의 인지 편향을 탐지하고 완화하며, 16,800개 프롬프트 데이터셋과 자기편향 제거 프롬프트를 포함합니다.

ABSTRACT

Large language models (LLMs) offer significant potential as tools to support an expanding range of decision-making tasks. Given their training on human (created) data, LLMs have been shown to inherit societal biases against protected groups, as well as be subject to bias functionally resembling cognitive bias. Human-like bias can impede fair and explainable decisions made with LLM assistance. Our work introduces BiasBuster, a framework designed to uncover, evaluate, and mitigate cognitive bias in LLMs, particularly in high-stakes decision-making tasks. Inspired by prior research in psychology and cognitive science, we develop a dataset containing 13,465 prompts to evaluate LLM decisions on different cognitive biases (e.g., prompt-induced, sequential, inherent). We test various bias mitigation strategies, while proposing a novel method utilizing LLMs to debias their own human-like cognitive bias within prompts. Our analysis provides a comprehensive picture of the presence and effects of cognitive bias across commercial and open-source models. We demonstrate that our selfhelp debiasing effectively mitigates model answers that display patterns akin to human cognitive bias without having to manually craft examples for each bias.

연구 동기 및 목표

• LLM 보조의 고위험 의사결정에서 인지 편향을 점검해야 할 필요성을 제기하고 이를 사회적 편향과 구별하는 것.
• 인지과학에 기반한 인지 편향 테스트 프레임워크(BiasBuster)를 개발하여 LLM의 편향을 정량화한다.
• 모델 간 프롬프트 유도, 순차적, 고유 편향을 평가하기 위한 광범위한 16,800개 프롬프트 데이터셋을 생성한다.
• 제로샷, 파샷, 자기편향제거(self-debiasing, self-help) 방법을 포함한 다양한 편향 완화 전략을 평가한다.
• 수동으로 편향에 특화된 예시를 제작하지 않아도 셀프-헬프 디바이징이 인지 편향을 줄일 수 있음을 입증한다.

제안 방법

• 인지 편향의 범주(프롬프트 기반, 고유, 순차적)를 정의하고 이를 인지과학 실험에서 영감을 얻은 테스트 프롬프트에 매핑한다.
• 앵커링, 현상유지, 프레이밍, 집단 귀속 편향을 다루는 16,800개 프롬프트 데이터셋을 개발한다.
• 의사결정 분포, 신뢰도, 기대치와 관찰치 사이의 유클리드 거리 등 지표를 통해 편향을 정량화한다.
• 제로샷, 파샷(대비/대안적), 그리고 모델이 자체 프롬프트를 다시 작성하는 셀프-헬프 프롬팅(self-help prompting) 등 완화 전략을 비교한다.
• 고위험 학생 선발 스타일 작업에서 GPT-3.5-turbo, GPT-4, Llama-2 7B/13B 등 여러 모델에 대해 평가한다.
• 모델이 자신의 응답의 편향을 줄이도록 프롬프트를 재작성하는 셀프-헬프 절차를 제안하고 그 영향을 평가한다.

실험 결과

연구 질문

• RQ1 LLM은 고위험 의사결정 작업에서 프롬프트 유도, 순차적, 고유의 인지 편향을 보이나?
• RQ2 제로샷, 파샷, 셀프-헬프를 포함한 다양한 편향 완화 전략이 모델 간 편향 발생률과 의사결정 품질에 어떤 영향을 미치는가?
• RQ3 LLM이 수동으로 제작된 편향 예시 없이도 자신의 프롬프트를 효과적으로 디바이징(자기편향 제거)할 수 있는가?
• RQ4 모델 용량과 유형이 인지 편향에 대한 민감성과 디바이징 효과에 어떤 영향을 미치는가?
• RQ5 프레이밍, 앵커링, 초두효과, 현상유지, 집단 귀속 편향이 입학 결정에 미치는 비교 영향은 무엇인가?

주요 결과

• 인지 편향(프레이밍 및 집단 귀속)이 모든 모델에서 나타나며, GPT-4는 프레이밍 편향을, Llama-2-7B는 집단 귀속 편향을 보인다.
• 파샷 완화는 실패 사례를 만들 수 있으며 오픈 소스 모델의 출력에 크게 영향을 줄 수 있다.
• 셀프-헬프 디바이징은 고용량 모델에서 의사결정의 일관성을 향상시키고 특정 경우에는 편향 유발 프롬프트를 0으로 줄일 수 있다; 효과는 모델에 따라 다르다.
• 셀프-헬프는 고용량 모델의 초두효과/앵커링 효과를 감소시키지만 저용량 모델은 개선이 제한적이다.
• 모델 용량은 셀프 디바이징의 효과에 강하게 영향을 미치며, 고용량 모델은 더 큰 디바이징 성공을 거둔다.
• BiasBuster 데이터셋은 LLM에서 인지 편향 및 완화 전략의 체계적 테스트를 가능하게 한다.