[論文レビュー] MoralBench: Moral Evaluation of LLMs

Jianchao Ji, Yutong Chen+4 more|arXiv (Cornell University)|Jun 6, 2024

Legal Education and Practice Innovations被引用数 7

ひとこと要約

MoralBenchはモラル・ベース理論に基づくLLMの道徳的同一性を測定するベンチマークデータセットと2値・比較評価手法を導入し、領域ごとにモデルのばらつきを明らかにする。

ABSTRACT

In the rapidly evolving field of artificial intelligence, large language models (LLMs) have emerged as powerful tools for a myriad of applications, from natural language processing to decision-making support systems. However, as these models become increasingly integrated into societal frameworks, the imperative to ensure they operate within ethical and moral boundaries has never been more critical. This paper introduces a novel benchmark designed to measure and compare the moral reasoning capabilities of LLMs. We present the first comprehensive dataset specifically curated to probe the moral dimensions of LLM outputs, addressing a wide range of ethical dilemmas and scenarios reflective of real-world complexities. The main contribution of this work lies in the development of benchmark datasets and metrics for assessing the moral identity of LLMs, which accounts for nuance, contextual sensitivity, and alignment with human ethical standards. Our methodology involves a multi-faceted approach, combining quantitative analysis with qualitative insights from ethics scholars to ensure a thorough evaluation of model performance. By applying our benchmark across several leading LLMs, we uncover significant variations in moral reasoning capabilities of different models. These findings highlight the importance of considering moral reasoning in the development and evaluation of LLMs, as well as the need for ongoing research to address the biases and limitations uncovered in our study. We publicly release the benchmark at https://drive.google.com/drive/u/0/folders/1k93YZJserYc2CkqP8d4B3M3sgd3kA8W7 and also open-source the code of the project at https://github.com/agiresearch/MoralBench.

研究の動機と目的

• 社会的影響を考慮し、LLMの道徳的整合性を評価する必要性を喚起する。
• 道徳的基盤理論に基づく2つのベンチマークデータセットを開発し、LLMの出力における道徳的推論を探る。
• LLMの道徳的同一性を定量化するための2値評価フレームワークと比較評価フレームワークを提案する。
• 複数のLLMに対してベンチマークを適用し、長所と限界を特徴づけ、倫理的AI開発を指針を提供する。

提案手法

• モラルファウンデーション理論（六つの基盤）を採用し、MFQ-30-LLMとMFV-LLMの2つのデータセットを構築する。
• MFQ-30-LLMを用いて、各基盤ごとに0-5の2部構成のスケール評価を取得し、総得点に集約する。
• 132のビネットを用いて、基盤別の不適切性評価を生成し評価に用いる。
• Agree/Disagreeで回答する2値道徳評価を実装し、人間の参照マッピングによって得点化する（2値+比較スコアリング）。
• ペア間でより道徳的な発言を選択する比較的道徳評価を実装し、人間の平均スコアの高い方に基づいて採点する。

実験結果

リサーチクエスチョン

• RQ1 LLMはCare/Harm, Fairness, Loyalty, Authority, Sanctity, Libertyといった各次元で人間の道徳基盤を一貫して反映できるか？
• RQ2 2値評価と比較評価モードは、LLMの道徳的同一性について一貫した指標を示すのか、それとも異なる指標を示すのか？
• RQ3 MFQ-LLMおよびMFV-LLMベンチマーク全体で、人間の道徳判断と最も整合するモデルはどれか？
• RQ4 2値と比較の結果の不一致は、モデルの深い道徳理解について何を意味するのか？

主な発見

• LLaMA-2とGPT-4が、それぞれ二値のMFQ-30-LLMおよびMFV-LLMベンチマークで最高の性能を達成。
• GPT-3.5は、MFQ-30-LLMとMFV-LLMの比較評価の両方で総じて最高得点を取ることが多く、道徳的発言を識別する能力が高いことを示している。
• Gemma-1.1は、データセットとタスク全般で他のモデルと比べて一貫して低い性能を示す。
• 一部のモデルは高い2値道徳的同一性スコアを示す一方、比較タスクで苦戦しており、深い道徳理解ではなく表面的なパターン認識を示唆している。
• このベンチマークは、道徳基盤ごとのモデル固有の強みを明らかにし、アーキテクチャ間で道徳推論能力のばらつきを強調する。