[論文レビュー] The Moral Machine Experiment on Large Language Models

Kazuhiro Takemoto|PubMed|Sep 12, 2023

Ethics and Social Impacts of AI参考文献 9被引用数 9

ひとこと要約

本論文は Moral Machine framework を用いて、主要な LLMs（GPT-3.5、GPT-4、PaLM 2、Llama 2）が道徳判断をどのように行い、人間の嗜好と比較して、定性的な一致と定量的な乖離の両方を明らかにしています。

ABSTRACT

As large language models (LLMs) have become more deeply integrated into various sectors, understanding how they make moral judgements has become crucial, particularly in the realm of autonomous driving. This study used the moral machine framework to investigate the ethical decision-making tendencies of prominent LLMs, including GPT-3.5, GPT-4, PaLM 2 and Llama 2, to compare their responses with human preferences. While LLMs' and humans' preferences such as prioritizing humans over pets and favouring saving more lives are broadly aligned, PaLM 2 and Llama 2, especially, evidence distinct deviations. Additionally, despite the qualitative similarities between the LLM and human preferences, there are significant quantitative disparities, suggesting that LLMs might lean toward more uncompromising decisions, compared with the milder inclinations of humans. These insights elucidate the ethical frameworks of LLMs and their potential implications for autonomous driving.

研究の動機と目的

• 自動運転シナリオにおいて、LLM駆動の意思決定が人間の道徳判断とどのように一致するかの理解を促進する。
• 主要な LLM の道徳的嗜好を人間の嗜好と比較して倫理的整合性を評価する。
• どのモデルが人間の規範から逸脱するか、そしてその逸脱がどのように現れるかを特定する。
• 定性的な類似性がLLMの道徳的判断における定量的差異を覆い隠していないかを評価する。

提案手法

• 複数のLLMにおける道徳的意思決定を探るために Moral Machine framework を適用する。
• GPT-3.5、GPT-4、PaLM 2、Llama 2 を人間の嗜好と比較して評価する。
• LLMと人間の間の定性的な類似性と定量的な乖離の両方を分析する。
• 自動運転文脈におけるLLMsの倫理フレームワークへの影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 先端的な LLM は自動運転シナリオにおいて人間の道徳的嗜好と一致するだろうか？
• RQ2 異なる LLM（GPT-3.5、GPT-4、PaLM 2、Llama 2）は道徳判断においてどう異なるか？
• RQ3 定性的な類似性にもかかわらず、LLMの応答と人間の嗜好の間に顕著な定量的差があるか？
• RQ4 これらの LLM 判断が自動運転に対してもたらす潜在的な倫理的・実践的影響は何か？

主な発見

• LLMs の道徳的嗜好は、人間をペットより優先し、より多くの命を救う点で人間の嗜好と広く一致している。
• PaLM 2 と Llama 2 は人間の嗜好から明確な逸脱を示す。
• LLM と人間の間の定性的な類似性は、顕著な定量的差異とは対照的である。
• LLMs は道徳的状況で人間よりもより妥協のない決定に傾く可能性がある。
• 本研究の発見は、LLMs の倫理的フレームワークと自動運転への影響を照らし出す。