[論文レビュー] When Is It Acceptable to Break the Rules? Knowledge Representation of Moral Judgement Based on Empirical Data

Edmond Awad, Sydney Levine+7 more|arXiv (Cornell University)|Jan 19, 2022

Psychology of Moral and Emotional Judgment参考文献 57被引用数 8

ひとこと要約

本稿では、状況に応じた文脈と二重プロセス理論（素早いヒューリスティック思考と遅い熟慮的思考）を統合することで、人間の道徳的柔軟性（規則違反の判断）をモデル化する一般化されたCP-netフレームワーク、SEP-netsを提案する。線切りのシナリオに関する実証データを用いて、道徳的許容性は結果に基づく（結果主義的）および合意に基づく（契約的）推論によって規定されることを示し、AIシステムが道徳的に許容される形で規則を破るべき状況を推論できるようにする。

ABSTRACT

One of the most remarkable things about the human moral mind is its flexibility. We can make moral judgments about cases we have never seen before. We can decide that pre-established rules should be broken. We can invent novel rules on the fly. Capturing this flexibility is one of the central challenges in developing AI systems that can interpret and produce human-like moral judgment. This paper details the results of a study of real-world decision makers who judge whether it is acceptable to break a well-established norm: ``no cutting in line.'' We gather data on how human participants judge the acceptability of line-cutting in a range of scenarios. Then, in order to effectively embed these reasoning capabilities into a machine, we propose a method for modeling them using a preference-based structure, which captures a novel modification to standard ``dual process'' theories of moral judgment.

研究の動機と目的

• 線切りのような確立された規則を破ることの道徳的許容性を、人間がどのように判断するかを計算的にモデル化すること。
• 実証データを用いて、ヒューリスティック思考（システム1）と熟慮的思考（システム2）の相互作用を捉えること。
• 状況依存の評価変数を導入することで、古典的CP-netを状況に敏感な道徳的好みをモデル化できるように拡張すること。
• AIシステムが硬直的な規則順守を超えて、動的かつ文脈に応じた道徳的意思決定を可能にする形式的枠組みを構築すること。

提案手法

• 理由、場所、結果が異なる200の架空の線切りシナリオについて、人間の道徳的判断を収集する。
• 線切りの理由、場所、線切り者の福祉といったキーワードとしてのシナリオ変数（SVs）と、他者への影響や観察者間の合意といった結果変数（EVs）を同定する。
• SVsとEVsを通じて文脈に応じた好みをリンクするCP-netの一般化として、SEP-netsを提案し、文脈に配慮した道徳的推論を可能にする。
• 結果に基づく（システム2）および合意に基づく（システム2）熟慮的推論と、規則の不侵可能性（システム1）のヒューリスティックを区別することで、二重プロセス理論をモデル化する。
• 道徳的許容性の判断をエンコードするための好み構造を用い、文脈依存の複雑な道徳的トレードオフについての推論を可能にする。
• 将来の計画システムとの統合を想定し、説得的AIのためのデータから好みを生成可能にするために、フレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で人々は、線切りのような確立された規則を破ることを道徳的に許容すると判断するのか？
• RQ2 結果に基づくおよび合意に基づく推論（システム2）は、規則違反に関する道徳的判断にどのように影響を与えるか？
• RQ3 ヒューリスティック的・規則に基づく直感（システム1）は、道徳的意思決定において熟慮的推論をどの程度上回るのか？
• RQ4 形式的好みモデルは、規則違反シナリオにおける人間の道徳的柔軟性の複雑さを捉えられるか？
• RQ5 実証データから得た道徳的好みを、動的かつ文脈に敏感な道徳的推論を可能にするAIシステムにどのように埋め込むか？

主な発見

• 参加者は、線切りの理由が緊急（例：医療緊急時）であるか、線切り者の福祉が高い場合に、線切りを道徳的に許容すると判断した。これは結果主義的推論を示している。
• 他者による合意の有無が道徳的許容性に顕著に影響を与え、契約的推論が道徳的判断の主要な要素であることを支持した。
• 一部のケースでは、文脈に関係なく規則を不侵不侵とみなす参加者がおり、これはシステム1のヒューリスティック的思考への強い依存を示している。
• データは、従来のCP-net形式では観察された道徳的判断を十分にモデル化できず、SEP-netsの開発が不可避であることを示した。
• SEP-netsは、シナリオの文脈、結果への影響、合意の有無の相互作用を的確に捉え、道徳的柔軟性のモデル化に成功した。
• 道徳的好みデータを形式的で計画適合の可能な表現に変換することで、道徳的に整合性のある行動計画を生成する基盤を提供した。