[論文レビュー] Blameworthiness in Multi-Agent Settings

Meir Friedenberg, Joseph Y. Halpern|arXiv (Cornell University)|Mar 11, 2019

Epistemology, Ethics, and Metaphysics参考文献 8被引用数 5

ひとこと要約

この論文は、HalpernとKleiman-Weinerの単一エージェント因果枠組みをグループに拡張することで、複数エージェント環境における非難の帰属を形式化する。因果モデル上の知識状態を用いてグループ責任を評価し、協力ゲーム理論のシャープレー値を用いて個々のエージェントへの非難を公平に配分する。公理的公平性を保証し、自律システムにおける道徳的責任の根拠ある手法を提供する。

ABSTRACT

We provide a formal definition of blameworthiness in settings where multiple agents can collaborate to avoid a negative outcome. We first provide a method for ascribing blameworthiness to groups relative to an epistemic state (a distribution over causal models that describe how the outcome might arise). We then show how we can go from an ascription of blameworthiness for groups to an ascription of blameworthiness for individuals using a standard notion from cooperative game theory, the Shapley value. We believe that getting a good notion of blameworthiness in a group setting will be critical for designing autonomous agents that behave in a moral manner.

研究の動機と目的

• 複数のエージェントが協働して否定的結果を回避できた場合の非難の帰属を形式化するというギャップを埋める。
• HalpernとKleiman-Weinerの単一エージェント非難枠組みを、複数エージェント環境におけるグループ責任に拡張する。
• 個々のエージェントの、結果の回避に与える限界的貢献に基づいて、非難を公平に配分する方法を提供する。
• 非難の配分に公理的公平性を保証する手法を提供することで、道徳的責任を持つ自律エージェントの設計を支援する。

提案手法

• 外生的および内生的変数を含む因果モデルフレームワークを用い、行動変数をマッピング関数を通じて特定のエージェントに結びつける。
• エージェントの信念に基づく確率分布（知識状態）を用いて、グループが結果を回避できたかどうかを評価することで、グループ非難の帰属を定義する。
• 協力ゲーム理論のシャープレー値を用いて、グループ非難を個々の貢献に分解し、公平性を公理的性質によって保証する。
• 介入（[A←a]φ）による反事後的推論を統合し、異なる行動が取られていた場合にどうなっていたかを評価する。
• 結果の回避に向けた行動のコストと有効性に関するエージェントの信念を、知識状態に統合する。
• 委員会の意思決定に関する事例研究を通じて、限界的貢献が個々の非難の帰属にどのように影響するかを示す。

実験結果

リサーチクエスチョン

• RQ1 複数エージェントが協働して否定的結果を回避できた状況において、グループの非難の帰属を形式的に定義する方法は何か？
• RQ2 グループ責任が割り当てられた場合、個々の非難がどのように公平に配分されるかを保証する基準は何か？
• RQ3 元々のHalpernとKleiman-Weinerの定義が複数エージェント文脈で失敗する理由は何か？そして、どのように一般化できるか？
• RQ4 シャープレー値は、個々のエージェントの限界的貢献に基づいて、根拠があり公平な非難配分の方法として機能できるか？
• RQ5 知識状態（因果モデルの確率分布）は、グループおよび個々の非難の帰属をどのように洗練された形で評価可能にするか？

主な発見

• 提案されたグループ非難の定義は、集団的行動の可能性と知識的不確実性を組み込むことで、単一エージェント枠組みを一般化する。
• 非難の配分において、四つの主要な公平性公理（効率性、対称性、ダミー・プレーヤー、加法性）を満たすのはシャープレー値に限る。
• 委員会投票の事例では、否定的結果の回避に決定的貢献をしたエージェントが、孤立して行動していた場合でも高い個々の非難の帰属を受ける。
• この手法は、行動の認識された影響と介入のコストの両方を考慮し、元のHK枠組みの原則と整合する。
• 本手法は、自律エージェント設計に適した形式的で定量的かつ公理的な道徳的責任の根拠を提供する。
• 本フレームワークは、規範や責任構造を組み込むことで、法的および倫理的推論へと拡張可能であり、将来的な研究に向けた課題として残されている。