[論文レビュー] Probing the Moral Development of Large Language Models through Defining Issues Test

Kumar Tanmay, Aditi Khandelwal+2 more|arXiv (Cornell University)|Sep 23, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本研究では、コールバーグの認知的道徳発達モデルに基づく心理測定的ツール「定義的課題テスト（DIT）」を用いて、大規模言語モデル（LLM）の道徳的推論能力を評価する。GPT-4は大学院生と同等の後期的道徳的推論スコアを達成するが、GPT-3はランダムなスコアにとどまり、モデル間で道徳的推論に顕著な差が見られることが示された。

ABSTRACT

In this study, we measure the moral reasoning ability of LLMs using the Defining Issues Test - a psychometric instrument developed for measuring the moral development stage of a person according to the Kohlberg's Cognitive Moral Development Model. DIT uses moral dilemmas followed by a set of ethical considerations that the respondent has to judge for importance in resolving the dilemma, and then rank-order them by importance. A moral development stage score of the respondent is then computed based on the relevance rating and ranking. Our study shows that early LLMs such as GPT-3 exhibit a moral reasoning ability no better than that of a random baseline, while ChatGPT, Llama2-Chat, PaLM-2 and GPT-4 show significantly better performance on this task, comparable to adult humans. GPT-4, in fact, has the highest post-conventional moral reasoning score, equivalent to that of typical graduate school students. However, we also observe that the models do not perform consistently across all dilemmas, pointing to important gaps in their understanding and reasoning abilities.

研究の動機と目的

• 標準化された心理的測定法を用いて、大規模言語モデル（LLM）の道徳的推論発達を評価すること。
• LLMがコールバーグの段階で定義される後期的道徳的推論を示すかどうか、あるいは前期的・中期的段階にとどまるかを調査すること。
• 文化的に繊細な、あるいは複雑な状況を含む道徳的ジレンマにおいて、倫理的推論のギャップや一貫性の欠如を特定すること。
• モデルアーキテクチャ、サイズ、およびアライメント技術（例：RLHF）が道徳的推論パフォーマンスに与える影響を評価すること。
• LLMが人間水準、あるいはそれ以上の道徳的推論能力を示す場合、AIアライメント、倫理的配慮、意思決定の分野における将来的な展開に与える影響を検討すること。

提案手法

• LLMの推論能力を評価するために、定義的課題テスト（DIT）を改変し、9つの道徳的ジレンマを提示し、12の倫理的配慮要因の重要性順位付けを求めた。
• 1つのジレンマあたり12項目の順位付けタスクを実施し、各回答に対して、倫理的配慮要因の関連性と順序に基づいて正規化されたp_score指標を採点した。
• GPT-3、GPT-3.5、GPT-4、ChatGPT（v1およびv2）、PaLM-2、Llama2-Chat（70B）の7つのLLMから回答を収集した。5つの標準DITジレンマと、データ汚染を防ぐために新たに設計した4つの文化的に多様なジレンマを用いた。
• p_scoreを用いて、コールバーグの段階（前期的、中期的、後期的）に一致する道徳的発達段階スコアを算出した。
• ランダムベースライン、成人の人間、大学院生のヒューマンベンチマークと比較してモデルのパフォーマンスを評価した。
• 意味のない出力や応答不能な出力を示したモデル（例：text-davinci-002）を除外し、PaLM-2が「囚人のジレンマ」に応答しなかったため、その分を調整して平均値を再計算した。

実験結果

リサーチクエスチョン

• RQ1 LLMは、コールバーグのモデルで定義される後期的道徳的推論をどの程度示すか？
• RQ2 文化的・文脈的に複雑なジレンマを含め、さまざまなタイプの道徳的ジレンマにおいて、モデルのパフォーマンスはどのように変化するか？
• RQ3 モデルアーキテクチャ、サイズ、およびアライメント技術（例：RLHF）と道徳的推論パフォーマンスの関係は何か？
• RQ4 一部のジレンマにおいて、全体的なスコアは高いにもかかわらず、特定のジレンマで性能が低いモデルが存在する理由は何か？ これはモデルの推論的制限をどのように明らかにするか？
• RQ5 LLMは人間と同等、あるいはそれ以上の道徳的推論能力を達成できるのか？ その場合、AIアライメントおよび実世界への展開にどのような意味を持つのか？

主な発見

• GPT-4はp_score 58.81を達成し、大学院生と同等の後期的道徳的推論レベルに位置づけられた。
• Llama2-Chat（70B）はp_score 52.85を達成し、成人の人間や大学学部生と同等の強い中期的道徳的推論を示した。
• PaLM-2は52.24を記録し、中期的水準の推論を示したが、「囚人のジレンマ」に応答しなかったため、実効的な平均スコアが低下した。
• GPT-3はわずか31.20にとどまり、ランダムベースラインと同等の性能であり、意味のある道徳的推論能力は示さなかった。
• ChatGPTv1は56.44、ChatGPTv2は51.55を記録し、後続バージョンでパフォーマンスが低下している可能性が示唆され、主観的報告と整合的であった。
• 9つのジレンマのうち2つでは、どのモデルもランダムベースラインを上回らなかった。また、GPT-4は新たに設計されたウェブスター・ジレンマで成績を落としており、継続的な推論の一貫性の欠如が浮き彫りになった。