[论文解读] MoralBench: Moral Evaluation of LLMs

Jianchao Ji, Yutong Chen+4 more|arXiv (Cornell University)|Jun 6, 2024

Legal Education and Practice Innovations被引用 7

一句话总结

MoralBench 引入基准数据集及二进制/对比评估方法，以衡量与道德基础理论相一致的LLM道德身份，揭示不同领域模型的变异性。

ABSTRACT

In the rapidly evolving field of artificial intelligence, large language models (LLMs) have emerged as powerful tools for a myriad of applications, from natural language processing to decision-making support systems. However, as these models become increasingly integrated into societal frameworks, the imperative to ensure they operate within ethical and moral boundaries has never been more critical. This paper introduces a novel benchmark designed to measure and compare the moral reasoning capabilities of LLMs. We present the first comprehensive dataset specifically curated to probe the moral dimensions of LLM outputs, addressing a wide range of ethical dilemmas and scenarios reflective of real-world complexities. The main contribution of this work lies in the development of benchmark datasets and metrics for assessing the moral identity of LLMs, which accounts for nuance, contextual sensitivity, and alignment with human ethical standards. Our methodology involves a multi-faceted approach, combining quantitative analysis with qualitative insights from ethics scholars to ensure a thorough evaluation of model performance. By applying our benchmark across several leading LLMs, we uncover significant variations in moral reasoning capabilities of different models. These findings highlight the importance of considering moral reasoning in the development and evaluation of LLMs, as well as the need for ongoing research to address the biases and limitations uncovered in our study. We publicly release the benchmark at https://drive.google.com/drive/u/0/folders/1k93YZJserYc2CkqP8d4B3M3sgd3kA8W7 and also open-source the code of the project at https://github.com/agiresearch/MoralBench.

研究动机与目标

• 动机：鉴于LLM对社会的影响，促使评估其道德一致性。
• 开发两个以道德基础理论为基础的基准数据集，以探究 LLM 输出中的道德推理。
• 提出二元和对比评估框架，以量化 LLM 的道德身份。
• 将基准应用到多种 LLM，以刻画强项/局限并指导伦理 AI 的开发。

提出的方法

• 采用道德基础理论（六大基础）构建两个数据集：MFQ-30-LLM 与 MFV-LLM。
• 使用 MFQ-30-LLM 在每个基础上获得一个分为两部分的 0-5 量表评估，并汇总为总分。
• 使用 MFV-LLM 配合 132 个情景，生成各基础的错误感知评分以进行评估。
• 实现二元道德评估，模型给出 同意/不同意 的回答，并通过人工参考映射进行评分（二元+对比评分）。
• 实现对比道德评估，模型在成对的陈述中选择更道德的一项，并以更高的人类平均分进行评分。

实验结果

研究问题

• RQ1 LLMs 是否能够在各维度（关爱/伤害、 公平、忠诚、权威、神圣、自由）上持续反映人类道德基础？
• RQ2 二元与对比评估模式是否在LLM道德身份上给出一致还是分歧的指示？
• RQ3 在 MFQ-LLM 与 MFV-LLM 基准中，哪些模型最符合人类道德判断？
• RQ4 二元与对比结果之间的差异对模型深层道德理解意味着什么？

主要发现

• LLaMA-2 和 GPT-4 在二元 MFQ-30-LLM 与 MFV-LLM 基准中分别达到最高性能。
• GPT-3.5 在 MFQ-30-LLM 和 MFV-LLM 的对比评估中通常总体得分最高，表明其在区分道德陈述方面具有较强能力。
• Gemma-1.1 在各数据集和任务中始终落后于其他模型。
• 某些模型在二元道德身份分数上很高，但在对比任务中表现困难，表明只是表层模式识别而非深层道德理解。
• 基准揭示了各模型在道德基础上的特定强项，并凸显不同架构在道德推理能力上的变异性。