[논문 리뷰] Moral Foundations of Large Language Models

Marwa Abdulhai, Gregory Serapio‐García외 4명|arXiv (Cornell University)|2023. 10. 23.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 도덕적 편향을 분석하기 위해 도덕 기반 이론(Moral Foundations Theory, MFT)을 적용한다. 결과적으로 LLMs는 훈련 데이터에 의해 형성된 일관된, 이데올로기와 관련된 도덕 기반을 보이며, 예를 들어 '돌봄/해로움' 또는 '충성'에 대한 편향을 보인다. 이 연구는 프롬프팅을 통해 이러한 도덕 기반의 가중치를 체계적으로 조작할 수 있음을 보여주며, 이는 기부 기여도와 같은 후행 작업에서 기여 금액을 39% 감소시키는 등 행동에 상당한 영향을 미친다.

ABSTRACT

Moral foundations theory (MFT) is a psychological assessment tool that decomposes human moral reasoning into five factors, including care/harm, liberty/oppression, and sanctity/degradation (Graham et al., 2009). People vary in the weight they place on these dimensions when making moral decisions, in part due to their cultural upbringing and political ideology. As large language models (LLMs) are trained on datasets collected from the internet, they may reflect the biases that are present in such corpora. This paper uses MFT as a lens to analyze whether popular LLMs have acquired a bias towards a particular set of moral values. We analyze known LLMs and find they exhibit particular moral foundations, and show how these relate to human moral foundations and political affiliations. We also measure the consistency of these biases, or whether they vary strongly depending on the context of how the model is prompted. Finally, we show that we can adversarially select prompts that encourage the moral to exhibit a particular set of moral foundations, and that this can affect the model's behavior on downstream tasks. These findings help illustrate the potential risks and unintended consequences of LLMs assuming a particular moral stance.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 인터넷 규모의 훈련 데이터로부터 특정 도덕 기반을 유전하고 반영하는지 조사하기 위해.
• 다양한 대화적 프롬프트와 맥락에서 이러한 도덕 기반이 일관된지 평가하기 위해.
• 적대적 프롬프팅이 라이브럴 또는 보수적 정치 이데올로기에 연관된 특정 도덕적 입장을 취하도록 LLMs를 조작할 수 있는지 평가하기 위해.
• 이러한 도덕적 조작이 기부 기여 결정과 같은 작업에서 후행 행동에 어떤 영향을 미치는지 측정하기 위해.
• 실제 응용에서 LLMs가 정치적 또는 도덕적 편향을 강화하거나 강제하는 데 있어 윤리적 위험을 부각하기 위해.

제안 방법

• 도덕 기반 설문지(Moral Foundations Questionnaire, MFQ)를 도입하여, 5개의 도덕 차원—돌봄/해로움, 공정성/도발, 충성/배신, 권위/도전, 성결성/부패—에 대해 LLMs의 점수를 산정한다.
• LLM의 MFQ 응답을 인간 심리학 연구와 비교하여 도덕 기반 가중치의 유사성과 차이를 식별한다.
• 다양한 대화적 맥락으로 동일한 LLM에 프롬프팅하여 도덕 기반 점수의 안정성을 테스트함으로써 일관성 분석을 수행한다.
• 특정 도덕 기반, 예를 들어 돌봄/해로움 또는 충성 등을 강조하도록 유도하는 적대적 프롬프팅을 설계한다.
• 이러한 도덕적 프롬프팅이 대화 기반 기부 기여 벤치마크에서 후행 행동에 어떤 영향을 미치는지 평가한다.
• 도덕 기반 가중치가 기부 행동에 미치는 영향을 정량화하여, 프롬프팅 간 기부 금액의 차이를 측정한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models, LLMs)은 도덕 기반 이론(Moral Foundations Theory)으로 측정했을 때, 훈련 데이터로부터 일관된 도덕 기반을 유추하는가?
• RQ2 다양한 대화적 프롬프트와 맥락에서 이러한 도덕 기반은 얼마나 안정적인가?
• RQ3 적대적 프롬프팅을 통해 LLM이 특정 도덕 기반 또는 정치 이데올로기에 따라 행동하도록 조작할 수 있는 정도는 어느 정도인가?
• RQ4 프롬프팅을 통해 모델의 도덕 기반을 이동시키는 것이 후행 작업에서 행동에 측정 가능한 변화를 초래하는가?
• RQ5 LLMs가 특정 도덕적 입장을 유추하고, 이를 조작할 수 있다는 점이 윤리적 함의를 지닌다.

주요 결과

• LLMs는 일관된 도덕 기반 편향을 보이며, GPT-3는 라이브럴 정치 이데올로기에 부합하는 돌봄/해로움과 공정성에 특히 강한 강조를 보인다.
• LLMs의 도덕 기반 점수는 다양한 대화적 프롬프트에서 상대적으로 안정되어 있어, 내부 도덕적 프레임워크의 일관성을 나타낸다.
• 적대적 프롬프팅을 통해 LLMs는 충성/배신 또는 성결성/부패와 같은 특정 도덕 기반을 강조하도록 성공적으로 이동시킬 수 있으며, 이는 보수적 정치 입장을 모방한다.
• 해로움 기반을 우선시하도록 프롬프팅한 경우, LLMs는 충성 기반을 강조한 경우보다 기부 기여 금액을 39% 더 적게 기부한다.
• LLMs의 도덕적 편향은 설문지 응답을 넘어서 후행 작업에서 행동에 직접적인 영향을 미치며, 실질적인 행동 결과를 유도함을 시사한다.
• 특히 안전성 향상을 위해 강화 학습을 사용한 피팅된 LLMs는 MFQ 응답에서 민감도가 감소하여 인간과 유사한 분포가 줄어들며, 이는 편향 측정을 복잡하게 만든다.