[論文レビュー] Towards Contrastive Explanations for Comparing the Ethics of Plans

Benjamin Krarup, Senka Krivić+2 more|arXiv (Cornell University)|Jun 22, 2020

Ethics and Social Impacts of AI参考文献 5被引用数 5

ひとこと要約

本稿では、ユーザーが指定した倫理的原則に基づいて、代替行動を提示し、その道徳的結果を評価することで、AIが生成する計画の倫理的許容性を比較できる対照的説明フレームワークを提案する。このフレームワークは、既存の倫理的計画モデルを拡張し、仮説的計画モデル（HModel）を用いて、なぜある計画が別の計画よりもより倫理的であるかを明確にする対照的説明を生成する。

ABSTRACT

The development of robotics and AI agents has enabled their wider usage in human surroundings. AI agents are more trusted to make increasingly important decisions with potentially critical outcomes. It is essential to consider the ethical consequences of the decisions made by these systems. In this paper, we present how contrastive explanations can be used for comparing the ethics of plans. We build upon an existing ethical framework to allow users to make suggestions to plans and receive contrastive explanations.

研究の動機と目的

• 個々の行動を孤立して評価するという限界を克服し、文脈の中で全体の行動計画の倫理的許容性を評価すること。
• 人間のモデレーターがAIが生成した計画に対して倫理的な改善を提案でき、その変更が道徳的許容性にどのように影響するかを説明する仕組みを提供すること。
• ユーザーの提案に基づいて仮説的計画を生成することで、対照的説明を支援するフレームワークの開発。
• デオントロジカル理論や結果主義理論などの形式化された倫理的原則をAI計画に統合し、道徳的許容性を評価すること。
• 倫理的計画比較の透明で説明可能な根拠を提供することで、ユーザーがAIシステムの倫理的意思決定に対する信頼を高めること。

提案手法

• 本手法は、計画モデル Π とプランナーが生成する計画 φ を用い、ユーザーの提案 σ と倫理的原則 ε が組み合わさって説明問題 E = ⟨Π, φ, σ, ε⟩ を形成する。
• 編集プロセスにより、元の計画モデル Π を、ユーザーの提案 σ を強制する仮説的モデル Π′（HModel）に変換し、新たな計画に対照的なケースが含まれるように保証する。
• HModel は元のプランナーを用いて解かれ、仮説的計画 φ′（HPlan）が生成され、その後、元のモデルとの整合性を検証して適用可能性を確認する。
• 倫理的説明生成器は、選択された倫理的原則 ε に基づき、元の計画 φ と HPlan φ′ の両方を評価し、Bad(lying) や ¬Bad(begging) のような因果的説明を生成する。
• これらの評価から対照的説明が合成され、道徳的許容性の差が強調される。例：「元の計画は、嘘をつくことが悪いので許容できないが、HPlan は、頼むことが悪いわけではないので許容可能である。」
• システムは、既存のプランナーをラップするモジュール型サービスとして設計されており、ユーザーが信頼する計画モデルや倫理的フレームワークをそのまま活用できる。

実験結果

リサーチクエスチョン

• RQ1 対照的説明は、AIが生成する計画の倫理的許容性をどのように比較できるか？
• RQ2 仮説的計画モデル（HModel）は、ユーザーが提案する計画変更の倫理的影響をどのように探求可能にするか？
• RQ3 形式化された倫理的原則（例えば、デオントロジカルルール）は、どのように計画システムに統合され、道徳的許容性を評価できるか？
• RQ4 対照的説明は、AI計画における倫理的トレードオフをユーザーがどのように理解するのを改善するか？
• RQ5 対照的説明は、AIシステムの倫理的意思決定に対するユーザーの信頼を高めることができるか？

主な発見

• システムは、元の計画とその仮説的代替計画との間の道徳的差を明確にした対照的説明を効果的に生成でき、たとえば『ロボットとフランク』のシナリオにおいて、嘘をつくこと（本質的に悪い）と頼むこと（中立的）の区別が可能である。
• 倫理的説明生成器は、Bad(フランクに嘘をつく) や ¬Bad(フランクに頼む) のような形式的因果的説明を生成し、これを自然言語の対照的文に統合する。
• HModel の編集プロセスにより、ユーザーの提案が形式的に制約としてエンコードされ、対照ケースを反映する有効な仮説的計画が生成可能になる。
• 繰り返しのユーザーフィードバックをサポートするため、複数回の編集が可能であり、ユーザーが提案を精緻化し、複数の倫理的代替案を探索できる。
• フレームワークはモジュール型かつ拡張可能であり、既存のプランナーをラップする形で動作するため、ユーザーが好みの計画モデルや倫理的フレームワークを維持できる。
• 本手法は、対照的説明がAI計画における倫理的推論を人間のモデレーターにとってより透明でアクセスしやすいものにできると示している。