[논문 리뷰] Ethical Reasoning and Moral Value Alignment of LLMs Depend on the Language we Prompt them in

Utkarsh Agarwal, Kumar Tanmay외 2명|arXiv (Cornell University)|2024. 04. 29.

Business Law and Ethics인용 수 4

한 줄 요약

이 연구는 다양한 언어로 언어 모델에 프롬프트를 제공할 경우 그들의 윤리적 사고와 도덕적 가치 일치도에 어떤 영향을 미치는지 조사한다. 여섯 가지 언어의 윤리적 딜레마를 사용하여, GPT-4는 일관되고 낮은 편향을 보이며, 반면 ChatGPT와 Llama2-70B-Chat는 특히 자원이 적은 언어인 히누어와 스포티어어에서 뚜렷한 언어 의존적 도덕적 편향을 보이며, 이는 언어가 LLM의 윤리적 판단에 뚜렷한 영향을 미친다는 것을 시사한다.

ABSTRACT

Ethical reasoning is a crucial skill for Large Language Models (LLMs). However, moral values are not universal, but rather influenced by language and culture. This paper explores how three prominent LLMs -- GPT-4, ChatGPT, and Llama2-70B-Chat -- perform ethical reasoning in different languages and if their moral judgement depend on the language in which they are prompted. We extend the study of ethical reasoning of LLMs by Rao et al. (2023) to a multilingual setup following their framework of probing LLMs with ethical dilemmas and policies from three branches of normative ethics: deontology, virtue, and consequentialism. We experiment with six languages: English, Spanish, Russian, Chinese, Hindi, and Swahili. We find that GPT-4 is the most consistent and unbiased ethical reasoner across languages, while ChatGPT and Llama2-70B-Chat show significant moral value bias when we move to languages other than English. Interestingly, the nature of this bias significantly vary across languages for all LLMs, including GPT-4.

연구 동기 및 목표

• LLM의 윤리적 사고와 도덕적 가치 일치도가 프롬프트로 사용된 언어에 의해 영향을 받는지 조사하기.
• 다양한 언어, 특히 자원이 적은 언어를 포함해 윤리적 딜레마가 제시되었을 때 LLM의 도덕적 편향 정도 평가하기.
• LLM이 인간과 유사한 '외국어 효과'를 보이는지, 즉 딜레마가 모국어가 아닌 언어로 제시되었을 때 도덕적 판단이 변화하는지 평가하기.
• 다양한 언어적 및 문화적 맥락에서 세 가지 주요 LLM—GPT-4, ChatGPT, Llama2-70B-Chat—의 성능 비교하기.
• LLM의 윤리적 사고가 언어 간 일관성을 유지하는지, 특히 자원이 적은 언어에서 손상되는지 여부 결정하기.

제안 방법

• Rao 등(2023)의 윤리적 사고 프레임워크를 수정하여, 도시학, 덕목 윤리, 결과주의의 세 가지 규범적 윤리 이론에서 유래한 표준화된 윤리적 딜레마를 사용하였다.
• 각 윤리 정책에 대해 세 수준의 추상화를 가진 프롬프트를 구성하여 언어적·문화적 다양성에 따른 사고 일관성 테스트하였다.
• 영어, 스페인어, 러시아어, 중국어, 히누어, 스포티어어의 여섯 언어에서 GPT-4, ChatGPT(2023년 9월), Llama2-70B-Chat 세 모델을 평가하였다.
• 윤리적 딜레마에 대한 모델 응답을 수집하고, 프롬프트된 윤리 정책에 부합하는지 기반으로 분류하여 일관성과 편향 측정하였다.
• 편향은 정책에 부합하는 응답에서의 이탈 정도로 정량화하였으며, 이격도가 클수록 더 강한 언어 특화 도덕적 편향을 의미한다.
• 검증 및 윤리적 사고 결과의 신뢰성 있는 분류를 위해 인간이 애너테이션한 기준값을 사용하였다.

(a) ChatGPT bias

실험 결과

연구 질문

• RQ1 LLM을 프롬프트하는 데 사용된 언어가 그들의 윤리적 사고와 도덕적 가치 일치도에 영향을 미치는가?
• RQ2 GPT-4, ChatGPT, Llama2-70B-Chat와 같은 LLM이 비영어 언어에서 윤리적 사고를 수행할 때 도덕적 편향을 얼마나 보이는가?
• RQ3 LLM은 외국어 효과를 보이는가? 즉, 딜레마가 모국어가 아닌 언어로 제시되었을 때 도덕적 판단이 변화하는가?
• RQ4 영어와 러시아어와 같은 고자원 언어와 히누어와 스포티어어와 같은 저자원 언어 간 윤리적 사고 성능은 어떻게 달라지는가?
• RQ5 편향은 모델과 언어 간 일관된 패턴을 보이는가, 아니면 딜레마에 따라 다르거나 모델에 따라 달라지는가?

주요 결과

• GPT-4는 여섯 언어 전반에서 가장 일관되고 편향이 적은 윤리적 사고를 보이며, 프롬프트된 윤리 정책과 강한 일치도를 유지한다.
• ChatGPT와 Llama2-70B-Chat는 비영어 언어에서 뚜렷한 도덕적 가치 편향을 보이며, 특히 히누어와 스포티어어에서 가장 높은 편향이 관찰된다.
• 히누어와 스포티어어에서 윤리적 사고 성능이 가장 열악하고, 영어와 러시아어에서 가장 우수하여 언어 자원 가용성과 사고 품질 간 상관관계가 있음을 시사한다.
• 편향의 성격은 언어와 모델 간에 크게 다름을 보이며, 이는 언어 특화된 문화적·언어적 뉘앙스가 LLM 행동에 강력한 영향을 미친다는 것을 시사한다.
• 영어와 스페인어, 히누어와 중국어 간에 모델 간 유사한 편향 패턴을 보이며, 이는 모델 행동에 언어적 또는 문화적 군집화가 존재할 수 있음을 암시한다.
• 이 연구는 LLM이 도덕적 가치에 항상 일치하지는 않으며, 오히려 프롬프트의 언어적·문화적 맥락에 민감하다는 점을 확인하며, 다국어 윤리적 일관성에 대한 기존 가정을 도전한다.

(b) ChatGPT confusion