[논문 리뷰] Instructed to Bias: Instruction-Tuned Language Models Exhibit Emergent Cognitive Bias

Itay Itzhak, Gabriel Stanovsky외 2명|arXiv (Cornell University)|2023. 08. 01.

Text Readability and Simplification인용 수 6

한 줄 요약

이 논문은 지침 테이닝과 인간 피드백을 통해 대규모 언어 모델(LM)에서 인지 편향—특히 유인 효과, 확실성 효과, 신념 편향—이 유도되거나 악화되는 방식을 조사한다. 이는 고전적인 인간 의사결정 실험을 LMs에 적응시켜 수행한다. 연구 결과, Flan-T5, GPT-3.5, GPT-4와 같은 지침 테이닝된 모델은 사전학습된 모델에 비해 뚜렷한 편향을 보이며, 정확도 향상과 함께 편향 점수도 높아지는 경향을 보여, 성능 향상과 공정성 사이의 상충관계를 시사한다.

ABSTRACT

Recent studies show that instruction tuning (IT) and reinforcement learning from human feedback (RLHF) improve the abilities of large language models (LMs) dramatically. While these tuning methods can help align models with human objectives and generate high-quality text, not much is known about their potential adverse effects. In this work, we investigate the effect of IT and RLHF on decision making and reasoning in LMs, focusing on three cognitive biases - the decoy effect, the certainty effect, and the belief bias - all of which are known to influence human decision-making and reasoning. Our findings highlight the presence of these biases in various models from the GPT-3, Mistral, and T5 families. Notably, we find a stronger presence of biases in models that have undergone instruction tuning, such as Flan-T5, Mistral-Instruct, GPT3.5, and GPT4. Our work constitutes a step toward comprehending cognitive biases in instruction-tuned LMs, which is crucial for the development of more reliable and unbiased language models.

연구 동기 및 목표

• 지침 테이닝과 인간 피드백에서 유도된 강화 학습(RLHF)이 대규모 언어 모델에서 인지 편향을 유도하거나 악화시키는지 조사하는 것.
• 지침 테이닝된 LMs에서 세 가지 핵심 인간 인지 편향—유인 효과, 확실성 효과, 신념 편향—의 존재 및 정도를 검토하는 것.
• GPT-3, GPT-3.5, GPT-4, Flan-T5를 중심으로 사전학습된 모델과 지침 테이닝된 변형 간의 편향 수준을 비교하는 것.
• 특히 논리적 추론 과제에서 모델 정확도와 편향 점수 간의 관계를 분석하는 것.
• 테이닝 방법이 정렬을 향상시키기 위해 의도되었지만, 오히려 인지 편향을 임베딩하거나 악화시킬 수 있음을 경험적으로 입증하는 것.

제안 방법

• 고전적인 인간 인지 편향 실험을 텍스트 기반 의사결정 과제로 변형하여 제어 조건과 처리 조건을 설정해 LMs를 시험하는 방식.
• 각 편향에 맞는 변수적 숫자 및 텍스트 자리표를 가진 템플릿 프롬프트를 사용해 대규모이고 부분 자동화된 데이터셋을 생성하는 방식.
• 모델 선택의 평균 변화량을 기반으로 편향을 정의하며, 이는 모든 프롬프트에서 제어 조건과 처리 조건 간의 평균 이동을 기준으로 한다.
• GPT-3, GPT-3.5, GPT-4, Flan-T5 등 여러 LMs를 동일한 편향 과제에서 평가하여 다양한 모델 유형 간의 편향 수준을 비교하는 방식.
• 신념 편향 과제에서 모델 정확도와 편향 점수를 정량화하여 성능과 편향 간의 상충관계를 평가하는 방식.
• 사전학습된 모델과 지침 테이닝된 모델 간의 편향 점수를 비교하기 위해 통계 분석을 수행하는 방식.

실험 결과

연구 질문

• RQ1 지침 테이닝된 언어 모델은 유인 효과, 확실성 효과, 신념 편향과 같은 인지 편향을 보이는가?
• RQ2 지침 테이닝된 모델의 편향 수준은 사전학습된 모델과 비교해 어떻게 다른가?
• RQ3 논리적 추론 과제에서 모델 정확도 향상과 함께 인지 편향이 증가하는가와의 상관관계는 있는가?
• RQ4 다른 지침 테이닝된 모델들(예: GPT-3.5 대비 GPT-4)은 서로 다른 정도의 편향을 보이며, 이러한 차이의 원인은 무엇인가?
• RQ5 LM에서 인지 편향의 존재는 모델 아키텍처 자체가 아니라, 테이닝 과정 자체에 기인하는가?

주요 결과

• GPT-3.5와 GPT-4와 같은 지침 테이닝된 모델은 강한 확실성 효과를 보이며, 높은 기대값을 가진 위험성 있는 선택보다 확실한 결과를 선호한다. 이는 사전학습된 모델과는 다르게 나타난다.
• Flan-T5 XXL 모델은 유인 효과에서 –0.18의 음수 편향 점수를 보이며, 일반적인 편향 패tern과는 반대로 항상 더 비싼 목표 선택지를 선호함을 나타내어, 전형적인 편향 패턴을 어김.
• 신념 편향 과제에서 GPT-3 변형의 정확도가 높을수록 편향 점수도 높아져, 성능 향상과 편향 간의 상충관계를 시사함.
• GPT-4는 신념 편향 과제에서 최고의 정확도(84%)를 기록했으며, GPT-3.5와 GPT-3.0보다 낮은 편향 점수(0.07과 0.49)를 보이며, 표적 훈련이 편향을 감소시킬 수 있음을 시사함.
• 연구 결과, 지침 테이닝은 사전학습된 모델에 존재하지 않는 인지 편향을 유도하거나 악화시킬 수 있으며, 특히 의사결정 및 추론 과제에서 두드러짐.
• LM의 편향 패턴은 인간 행동과 다름—예를 들어, Flan-T5의 일관된 고가 선택지 선호는 일반적인 인지 편향 이론과 반대되며, 고유한 모델 기반 행동을 나타냄.