[論文レビュー] Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories?

Jingyan Zhou, Minda Hu+5 more|arXiv (Cornell University)|Aug 29, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、TDM や功利主義、道徳的義務論といったwell-establishedな道徳理論を用いて、大規模言語モデル（LLM）の説明可能な道徳的推論を誘導する理論的指針に基づくトップダウンフレームワークを提案する。LLMがこれらの理論を的確に理解・適用できることを示し、一般的常識道徳ベンチマークで最高87.5％の正答率と96.8％の再現率を達成した。また、詳細な不一致分析を通じて、データセットの制限やモデルの推論上の欠陥も明らかにした。

ABSTRACT

Making moral judgments is an essential step toward developing ethical AI systems. Prevalent approaches are mostly implemented in a bottom-up manner, which uses a large set of annotated data to train models based on crowd-sourced opinions about morality. These approaches have been criticized for overgeneralizing the moral stances of a limited group of annotators and lacking explainability. This work proposes a flexible top-down framework to steer (Large) Language Models (LMs) to perform moral reasoning with well-established moral theories from interdisciplinary research. The theory-guided top-down framework can incorporate various moral theories. Our experiments demonstrate the effectiveness of the proposed framework on datasets derived from moral theories. Furthermore, we show the alignment between different moral theories and existing morality datasets. Our analysis exhibits the potential and flaws in existing resources (models and datasets) in developing explainable moral judgment-making systems.

研究の動機と目的

• 偏りのある、説明のつかないクラウドソーシングによるアノテーションに依存するボトムアップ道徳判断システムの限界を是正すること。
• LLMが原理的道徳的推論のためのwell-establishedな道徳理論を理解し、それに従うことができるかどうかを調査すること。
• 理論的指針に基づくLLMの一般常識道徳データセットにおける性能を評価し、既存のボトムアップ手法と比較すること。
• 理論的指針に基づくLLM出力と人間によるアノテート済みラベルとの間の不一致の原因を同定・分析すること。
• 現在のデータセットとモデルの推論上の欠陥を浮き彫りにし、透明性があり理論的根拠を持つ倫理的AIシステムの今後の開発を支援すること。

提案手法

• TDM、功利主義、道徳的義務論、正義といった明示的な道徳理論を用いてGPT-4を誘導する柔軟なプロンプトフレームワークを設計した。
• 各道徳理論の原則に基づく段階的推論を促すことで、透明性と説明可能性を向上させた。
• 理論特有の指示を適用して、状況に対する道徳的判断を生成し、規範的倫理フレームワークとの整合性を確保した。
• Hendrycks et al. 2021 などの道徳理論に基づくデータセットおよびForbes et al. 2020 などの一般常識道徳ベンチマークを対象に実験を実施した。
• 体系的な不一致分析を実施し、不一致を4種類に分類した：データアノテーションの欠陥（Data-(a)）、文脈不足（Data-(b)）、LLMの誤った推論（LLM-(c)）、リスクの過剰評価（LLM-(d)）。
• ミスアライメント事例の手動による検査と分類を通じて、モデルの行動とデータセットの品質を評価した。

実験結果

リサーチクエスチョン

• RQ1 理論特有の指示によって誘導された際、LLMはwell-establishedな道徳理論を理解し、それに従うことができるか？
• RQ2 一般常識の状況において、どの道徳理論が道徳的判断タスクで最も優れたパフォーマンスを示すか？
• RQ3 理論的指針に基づくLLM出力と既存のボトムアップ道徳データセットとの間の不一致の原因は何か？
• RQ4 データセットのアノテーションと文脈の欠陥が、LLMの道徳的推論にどのように影響するか？
• RQ5 道徳理論に従って誘導された際、LLMの道徳的推論における主な失敗モードは何か？

主な発見

• TDM（二項道徳理論）を用いたLLMは、E-CM(H)ベンチマークで87.5％の正答率と96.8％の再現率を達成し、最高のパフォーマンスを示した。
• 功利主義タスクにおける不一致の最大の要因（78％）は、根拠のないまま状況をより快適なものとラベル付けするデータセットのアノテーション欠陥に起因した。
• 功利主義のミスアライメント事例の39％において、LLMは正しく1つの状況をより快適なものと分類しないと判断しており、アノテーションの欠陥を検出していた。
• ミスアライメント事例の24％は、状況に必要な物語的または関係的詳細が不足していたことが原因で、適切な道徳的評価が不可能だった。
• 誤った道徳的推論（LLM-(c)）は、複雑な状況において19％の高い不一致率を示し、特にモデルが誤った主体や細部に注目した場合に顕著だった。
• LLMは低確率のリスクに対して過剰反応を示し（LLM-(d)）、例えば屋外で野球をすることによる身体的怪我の可能性を推測的に評価し、無害な状況を道徳的に不適切と判断した。