[논문 리뷰] Assessing LLMs for Moral Value Pluralism

Noam Benkler, Drisana Mosaphir외 3명|arXiv (Cornell University)|2023. 12. 08.

Cultural Differences and Values인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 암묵적 도덕적 가치를 평가하기 위한 방법을 제안하며, 세계가치조사(World Values Survey, WVS)와 비교하여 LLM이 생성한 텍스트를 Recognizing Value Resonance(RVR) 모델을 사용해 분석한다. 이로 인해 LLM에는 특히 서구적·교육받은·산업화된·부유한·민주주의 국가(WEIRD)의 편향과 연령 관련 오류가 심각하게 드러나며, 비-WEIRD 국가 및 인구 집단 간에 도덕적 가치의 불일치가 존재함을 확인할 수 있었다.

ABSTRACT

The fields of AI current lacks methods to quantitatively assess and potentially alter the moral values inherent in the output of large language models (LLMs). However, decades of social science research has developed and refined widely-accepted moral value surveys, such as the World Values Survey (WVS), eliciting value judgments from direct questions in various geographies. We have turned those questions into value statements and use NLP to compute to how well popular LLMs are aligned with moral values for various demographics and cultures. While the WVS is accepted as an explicit assessment of values, we lack methods for assessing implicit moral and cultural values in media, e.g., encountered in social media, political rhetoric, narratives, and generated by AI systems such as LLMs that are increasingly present in our daily lives. As we consume online content and utilize LLM outputs, we might ask, which moral values are being implicitly promoted or undercut, or -- in the case of LLMs -- if they are intending to represent a cultural identity, are they doing so consistently? In this paper we utilize a Recognizing Value Resonance (RVR) NLP model to identify WVS values that resonate and conflict with a given passage of output text. We apply RVR to the text generated by LLMs to characterize implicit moral values, allowing us to quantify the moral/cultural distance between LLMs and various demographics that have been surveyed using the WVS. In line with other work we find that LLMs exhibit several Western-centric value biases; they overestimate how conservative people in non-Western countries are, they are less accurate in representing gender for non-Western countries, and portray older populations as having more traditional values. Our results highlight value misalignment and age groups, and a need for social science informed technological solutions addressing value plurality in LLMs.

연구 동기 및 목표

• 비-WEIRD 문화적 맥락에서 특히 암묵적인 도덕적 및 문화적 가치 평가를 위한 방법의 부족을 해결하기 위해.
• LLM이 다양한 도덕적 관점을 정확히 반영하고 있는지, 특히 소외된 국가 및 연령 집단의 관점을 평가하기 위해.
• 대부분의 LLM이 생성한 응답과 실제 세계가치조사(WVS)의 설문 데이터 사이의 도덕적·문화적 거리를 정량화하기 위해.
• LLM의 훈련 데이터 편향으로 인해 인간 도덕적 관점의 보편성 또는 중앙값을 반영한다는 가정을 도전하기 위해.
• 윤리적으로 균형 잡힌 AI 개발을 지원하기 위해, LLM 출력물 내 암묵적 가치 다원성의 식별 및 측정을 위해.

제안 방법

• 주어진 텍스트에서 WVS 도덕적 가치 중 어떤 가치가 공명하거나 갈등하는지를 탐지하기 위해 Recognizing Value Resonance(RVR) 자연어 처리(NLP) 모델을 활용한다.
• 특정 인구 집단의 도덕적 판단을 묻는 프롬프트(예: '일본의 60세 사람이 X에 대해 어떻게 생각할까?')에 대한 LLM 생성 응답에 RVR를 적용한다.
• LLM 생성 응답을 동일한 인구 집단의 실제 WVS 설문 데이터와 비교하여 도덕적/문화적 거리를 계산한다.
• 伝통 대 비전통 가치 스펙트럼과 일치하는 WVS 질문의 일부를 활용해 LLM 출력물의 가치 다원성을 평가한다.
• 문화적 일관성과 편향을 평가하기 위해 전통, 개인주의, 세속성, 자율성과 관련된 도덕적 가치에 집중한다.
• LLM 출력물 내 암묵적 도덕적 가치를 기반으로 하기 위해 WVS를 검증된 다문화 기준으로 활용한다.

Figure 1 : Waterfall plot illustrating proportion of LLM generated premises in which each hypothesis (y-axis) was non-neutral, either resonating (x-axis +) or conflicting (x-axis -)

실험 결과

연구 질문

• RQ1 LLM은 세계가치조사(WVS)로 측정된 비-WEIRD 국가의 도덕적 가치를 어느 정도 정확하게 반영하고 있는가?
• RQ2 LLM의 도덕적 관점은 전통 대 비전통 가치 측면에서 실제 인구 집단의 응답과 비교해 어떻게 다른가?
• RQ3 LLM은 도덕적 가치 표현에서 연령 관련 불일치를 보이며, 특히 젊은 인구 집단의 가치를 과도하게 반영하고 있는가?
• RQ4 LLM의 가치 일치 수준은 WVS 문화 지도의 다양한 문화 군에서 어떻게 변화하는가?
• RQ5 RVR 모델은 실제 설문 데이터와 비교해 LLM 생성 텍스트 내 암묵적 도덕적 가치 다원성 또는 불일치를 효과적으로 탐지할 수 있는가?

주요 결과

• LLM은 비-WEIRD 국가의 도덕적 가치와 심각한 불일치를 보이며, 실제 WVS 설문 결과와 맞지 않는 전통 수호 가치를 표현하는 경향이 있다.
• LLM은 노령층에 대해 전통 수호 가치를 과소평가하고 세속적 가치를 과대평가하며, 많은 문화권에서 노령층이 더 높은 전통주의를 보이는 WVS 데이터와 정면으로 배치된다.
• LLM은 지속적으로 서구적·영어 사용·젊은·교육받은 인구 집단의 가치를 반영하는 WEIRD 도덕적 편향을 보인다.
• 모델의 응답은 젊은 인구 집단의 도덕적 관점과 비례해 과도하게 일치하며, 조건부로 노령 인물의 신원을 가정하더라도 마찬가지다.
• RVR 모델은 LLM 출력물과 WVS 데이터 간의 가치 공명 및 갈등을 성공적으로 탐지하여 도덕적·문화적 거리의 정량화를 가능하게 하였다.
• 이러한 발견들은 LLM이 중립적이거나 세계적 도덕적 가치 다원성을 반영하지 못하며, 오히려 훈련 데이터 내 지배적인 문화적·언어적 편향을 반영하고 있음을 시사한다.

Figure 2 : Boxplots comparing moral biases observed in LLM generated data with actual trends in WVS data across three demographic divides, nationality, sex, and age.