[논문 리뷰] Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories?

Jingyan Zhou, Minda Hu외 5명|arXiv (Cornell University)|2023. 08. 29.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 TDM, 유틸리타리안주의, 디오니티크스와 같은 잘 정립된 도덕 이론들인 TDM, 유틸리타리안주의, 디오니티크스를 활용해 대규모 언어 모델(LM)의 설명 가능한 도덕적 추론을 이끄는 이론 기반의 상향식 프레임워크를 제안한다. 이는 LLM이 이러한 이론을 효과적으로 따르고 적용할 수 있음을 입증하며, 일반적인 도덕성 기준 벤치마크에서 최대 87.5%의 정확도와 96.8%의 재현율을 달성한다. 또한 깊이 있는 부적합성 분석을 통해 데이터셋의 한계와 모델의 추론 결함을 드러낸다.

ABSTRACT

Making moral judgments is an essential step toward developing ethical AI systems. Prevalent approaches are mostly implemented in a bottom-up manner, which uses a large set of annotated data to train models based on crowd-sourced opinions about morality. These approaches have been criticized for overgeneralizing the moral stances of a limited group of annotators and lacking explainability. This work proposes a flexible top-down framework to steer (Large) Language Models (LMs) to perform moral reasoning with well-established moral theories from interdisciplinary research. The theory-guided top-down framework can incorporate various moral theories. Our experiments demonstrate the effectiveness of the proposed framework on datasets derived from moral theories. Furthermore, we show the alignment between different moral theories and existing morality datasets. Our analysis exhibits the potential and flaws in existing resources (models and datasets) in developing explainable moral judgment-making systems.

연구 동기 및 목표

• 편향되고 설명할 수 없는 커뮤니티 기반 애너테이션에 의존하는 하향식 도덕적 판단 시스템의 한계를 해결하기 위해.
• LLM이 원칙적인 도덕적 추론을 위해 잘 정립된 도덕 이론을 이해하고 준수할 수 있는지 조사하기 위해.
• 이론 기반의 LLM이 일반적인 도덕성 데이터셋에서의 성능을 평가하고 기존의 하향식 접근 방식과 비교하기 위해.
• 이론 기반의 LLM 출력과 인간 애너테이션 레이블 간의 부적합성 원인을 특정하고 분석하기 위해.
• 현재 데이터셋과 모델 추론의 결함을 부각하여 투명하고 이론 기반의 윤리적 AI 시스템의 향후 개발을 이끌기 위해.

제안 방법

• TDM, 유틸리타리안주의, 디오니티크스, 정의와 같은 명시적인 도덕 이론을 활용해 GPT-4를 이끄는 유연한 프롬프팅 프레임워크를 설계하였다.
• 각 도덕 이론의 원칙에 기반한 단계별 추론을 통해 LLM을 이끌어, 투명성과 설명 가능성 향상을 도모하였다.
• 이론별 지침을 적용하여 시나리오에 대한 도덕적 판단을 생성함으로써, 규범적 윤리 프레임워크와의 일치를 보장하였다.
• Hendrycks 등(2021)의 도덕 이론 기반 데이터셋과 Forbes 등(2020)의 일반적인 도덕성 기준 벤치마크에서 실험을 수행하였다.
• 系통적인 부적합성 분석을 수행하였으며, 오차를 네 가지 유형으로 분류하였다: 데이터 애너테이션 결함(Data-(a)), 부족한 맥락(Data-(b)), 잘못된 LLM 추론(LLM-(c)), 위험 과대평가(LLM-(d)).
• 모델 행동과 데이터셋 품질을 평가하기 위해 부적합한 케이스의 수동 점검 및 분류를 수행하였다.

실험 결과

연구 질문

• RQ1 이론별 지침이 제공될 경우 LLM이 잘 정립된 도덕 이론을 이해하고 준수할 수 있는가?
• RQ2 일반적인 시나리오에서 도덕적 판단 과제에서 어떤 도덕 이론이 가장 높은 성능을 보이는가?
• RQ3 이론 기반 LLM 출력과 기존의 하향식 도덕성 데이터셋 간의 부적합성 원인은 무엇인가?
• RQ4 데이터셋 애너테이션과 맥락의 결함이 LLM의 도덕적 추론에 어떤 영향을 미치는가?
• RQ5 이론 기반 지침을 받는 LLM이 도덕적 추론에서 나타내는 주요 실패 유형은 무엇인가?

주요 결과

• TDM(이중도덕 이론) 기반 LLM은 E-CM(H) 벤치마크에서 최고 성능을 기록하여 정확도 87.5%와 재현율 96.8%를 달성하였다.
• 유틸리타리즘 과제에서 가장 큰 부적합성 원인(78%)은 잘못된 데이터셋 애너테이션에서 비롯되었으며, 특히 명백한 근거 없이 시나리오를 더 쾌적하게 평가한 경우에 주로 발생하였다.
• 유틸리타리즘 하에서 39%의 부적합 케이스에서 LLM은 한 시나리오가 더 쾌적하다고 분류하는 것을 정확히 거부하여 애너테이션 결함을 감지한 것으로 나타났다.
• LLM은 부적합 케이스의 24%를 부족한 맥락으로 인한 것으로 확인하였으며, 이는 도덕적 평가에 필요한 서사나 관계적 세부 정보가 부족한 경우에 해당한다.
• 복잡한 시나리오에서 잘못된 도덕적 추론(LLM-(c))는 19% 높은 부적합성을 유발하였으며, 특히 모델이 잘못된 주체나 세부 사항에 집중한 경우에 두드러졌다.
• LLM은 저확률 위험에 과민하게 반응하여, 예를 들어 뒷마당에서 야구를 치는 것에서 발생할 수 있는 신체적 부상과 같은 추측 가능한 해로움을 이유로 무해한 시나리오를 비도덕적으로 판단하는 경향을 보였다.