[논문 리뷰] MoralBench: Moral Evaluation of LLMs

Jianchao Ji, Yutong Chen외 4명|arXiv (Cornell University)|2024. 06. 06.

Legal Education and Practice Innovations인용 수 7

한 줄 요약

MoralBench는 도덕적 기초 이론(Moral Foundations Theory)에 부합하는 LLM의 도덕적 정체성을 측정하기 위해 벤치마크 데이터셋과 이진/비교 평가 방법을 도입하여 도메인 간 모델 가변성을 밝힌다.

ABSTRACT

In the rapidly evolving field of artificial intelligence, large language models (LLMs) have emerged as powerful tools for a myriad of applications, from natural language processing to decision-making support systems. However, as these models become increasingly integrated into societal frameworks, the imperative to ensure they operate within ethical and moral boundaries has never been more critical. This paper introduces a novel benchmark designed to measure and compare the moral reasoning capabilities of LLMs. We present the first comprehensive dataset specifically curated to probe the moral dimensions of LLM outputs, addressing a wide range of ethical dilemmas and scenarios reflective of real-world complexities. The main contribution of this work lies in the development of benchmark datasets and metrics for assessing the moral identity of LLMs, which accounts for nuance, contextual sensitivity, and alignment with human ethical standards. Our methodology involves a multi-faceted approach, combining quantitative analysis with qualitative insights from ethics scholars to ensure a thorough evaluation of model performance. By applying our benchmark across several leading LLMs, we uncover significant variations in moral reasoning capabilities of different models. These findings highlight the importance of considering moral reasoning in the development and evaluation of LLMs, as well as the need for ongoing research to address the biases and limitations uncovered in our study. We publicly release the benchmark at https://drive.google.com/drive/u/0/folders/1k93YZJserYc2CkqP8d4B3M3sgd3kA8W7 and also open-source the code of the project at https://github.com/agiresearch/MoralBench.

연구 동기 및 목표

• LLM의 도덕적 정렬성 평가 필요성을 사회적 영향력을 고려하여 제기한다.
• Moral Foundations Theory에 기반한 두 데이터셋 MFQ-30-LLM 및 MFV-LLM을 구축하여 LLM 출력의 도덕적 추론을 탐색한다.
• LLM의 도덕적 정체성을 정량화하기 위한 이진 및 비교 평가 프레임워크를 제안한다.
• 여러 LLM에 벤치마크를 적용하여 강점/한계를 특징화하고 윤리적 AI 개발을 안내한다.

제안 방법

• Moral Foundations Theory(여섯 가지 기초)를 채택하여 두 데이터셋 MFQ-30-LLM 및 MFV-LLM을 구축한다.
• 각 기초에 대해 0-5의 2부 척도 평가를 얻고 이를 총점으로 합산한다.
• 132개의 비네트를 사용해 기초별 잘못됨 지표를 생성한다.
• 모델이 Agree/Disagree로 응답하도록 하여 이진 도덕 평가를 구현하고 인간 참조 매핑으로 점수를 부여한다(이진 + 비교 평가 점수 체계).
• 두 문장의 쌍에서 더 도덕적인 진술을 선택하도록 하는 비교적 도덕 평가를 구현하고, 인간의 평균 점수가 높은 쪽에 대해 점수를 부여한다.

실험 결과

연구 질문

• RQ1 LLM이 차원(Care/Harm, Fairness, Loyalty, Authority, Sanctity, Liberty)을 넘어 인간의 도덕 기초를 일관되게 반영할 수 있는가?
• RQ2 이진 평가 모드와 비교 평가 모드가 LLM의 도덕적 정체성에 대해 일관되거나 상이한 지시를 제공하는가?
• RQ3 MFQ-LLM 및 MFV-LLM 벤치마크 전반에서 어떤 모델이 인간의 도덕 판단과 가장 잘 일치하는가?
• RQ4 이진 결과와 비교 결과 간의 차이가 모델의 깊은 도덕 이해에 대해 무엇을 시사하는가?

주요 결과

• LLaMA-2와 GPT-4가 각각 이진 MFQ-30-LLM 및 MFV-LLM 벤치마크에서 최고 성능을 달성한다.
• GPT-3.5는 MFQ-30-LLM 및 MFV-LLM 비교 평가에서 전반적으로 종종 최고 점수를 받아 도덕적 진술을 구분하는 강한 능력을 시사한다.
• Gemma-1.1은 데이터셋과 과제 전반에서 다른 모델에 비해 지속적으로 성능이 떨어진다.
• 일부 모델은 이진 도덕적 정체성 점수는 높지만 비교 과제에서는 어려움을 보여 표면적 패턴 인식에 의한 것으로 깊은 도덕적 이해를 시사하지 않는다는 점을 시사한다.
• 본 벤치마크는 도덕 기초 전반에 걸친 모델별 강점을 드러내고 구조에 따른 도덕적 추론 능력의 가변성을 강조한다.