[論文レビュー] On Automating the Doctrine of Double Effect

Naveen Sundar Govindarajulu, Selmer Bringsjord|arXiv (Cornell University)|Mar 27, 2017

Logic, Reasoning, and Knowledge参考文献 15被引用数 10

ひとこと要約

本稿では、第一階論理のモーダル論理、具体的には道徳的認知的イベント記法を用いた形式的枠組みを提案し、AIシステムにおける二重効果の原則（DDE）の自動化を実現する。これにより、DDE準拠の自律エージェントの設計と、既存のAIシステムのDDE準拠性の検証が可能となり、古典的な道徳的ジレンマのシミュレーションが成功裏に実施され、計画およびPOMDPモデルにおける実現可能性が示された。

ABSTRACT

The doctrine of double effect ($\mathcal{DDE}$) is a long-studied ethical principle that governs when actions that have both positive and negative effects are to be allowed. The goal in this paper is to automate $\mathcal{DDE}$. We briefly present $\mathcal{DDE}$, and use a first-order modal logic, the deontic cognitive event calculus, as our framework to formalize the doctrine. We present formalizations of increasingly stronger versions of the principle, including what is known as the doctrine of triple effect. We then use our framework to simulate successfully scenarios that have been used to test for the presence of the principle in human subjects. Our framework can be used in two different modes: One can use it to build $\mathcal{DDE}$-compliant autonomous systems from scratch, or one can use it to verify that a given AI system is $\mathcal{DDE}$-compliant, by applying a $\mathcal{DDE}$ layer on an existing system or model. For the latter mode, the underlying AI system can be built using any architecture (planners, deep neural networks, bayesian networks, knowledge-representation systems, or a hybrid); as long as the system exposes a few parameters in its model, such verification is possible. The role of the $\mathcal{DDE}$ layer here is akin to a (dynamic or static) software verifier that examines existing software modules. Finally, we end by presenting initial work on how one can apply our $\mathcal{DDE}$ layer to the STRIPS-style planning model, and to a modified POMDP model.This is preliminary work to illustrate the feasibility of the second mode, and we hope that our initial sketches can be useful for other researchers in incorporating DDE in their own frameworks.

研究の動機と目的

• AIシステムにおける二重効果の原則（DDE）を、自動化可能な形で形式化すること。
• 計算上の実現可能性に欠ける、または信念や意図といった内省的状態を扱えない、従来の形式化の限界を克服すること。
• 2つの応用モードを可能にすること：(1) DDE準拠のシステムを新規に構築すること、および (2) DDEレイヤーを介して既存のAIシステムの準拠性を検証すること。
• STRIPSおよびPOMDPなどの標準的なAIモデルにおける枠組みの実現可能性を示すこと。
• 論理的に厳密な方法で意図、結果、利益と損失のトレードオフをエンコードすることにより、自律エージェントにおける倫理的推論を支援すること。

提案手法

• 道徳的認知的イベント記法（DCEC）を用い、認識的、信念的、道徳的演算子を備えた第一階論理のモーダル論理を採用してDDEを形式化する。
• DDEの条件をエンコード：意図しない害悪、害悪が付随的結果として生じること、および利益対損失比が閾値を超えること。これらは量化された利益関数を用いて表現する。
• 任意のAIシステム（計画者、ニューラルネットワーク、ベイジアンネットワークなど）に適用可能なDDEレイヤーを導入し、検証に必要な主要パラメータを公開する。
• 推論規則（R1–R14）を用いて、時間的・意図的・因果的関係をモデル化し、反事後的推論と信念伝播を含む。
• より洗練された倫理的区別を捉えるために、三重効果の原則を拡張して形式化する。
• STRIPS風の計画と改変されたPOMDPモデルに枠組みを適用し、実世界のAIアーキテクチャへの統合と検証の可視化を図る。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、AIシステムにおける自動化を可能にする形で、二重効果の原則を形式的にエンコードできるか？
• RQ2 論理ベースの枠組みは、DDEに不可欠な内省的状態（例：信念、意図）を扱えるか。また、拡張的システムで一般的な不整合を避けることができるか？
• RQ3 どのような基盤アーキテクチャを有しても、DDE準拠のレイヤーを既存のAIシステムに後から組み込むことはどの程度可能か？
• RQ4 この枠組みは、STRIPSやPOMDPのような標準的なAI計画および意思決定モデルにどのように適用できるか？
• RQ5 形式的で論理ベースの検証レイヤーを用いて、AIシステムの倫理的準拠性を検証することはどの程度現実的か？

主な発見

• 道徳的認知的イベント記法は、内省的演算子と量化された利益関数を完全にサポートする形でDDEを形式化でき、従来の論理プログラミング手法の限界を克服した。
• この枠組みは、基盤となるAIアーキテクチャにかかわらず、DDE準拠エージェントの構築と、既存のAIシステムの検証の両方を可能にするDDEレイヤーを実装可能とした。
• 人間の倫理的判断研究で用いられる古典的道徳的ジレンマを正確にシミュレートでき、人間におけるDDEの使用に関する実証的知見と整合した。
• この枠組みは三重効果の原則をより強いバージョンとしてサポートし、洗練された倫理的推論の能力を示した。
• STRIPSおよびPOMDPモデルへの初期統合により、標準的なAI計画および意思決定フレームワークにおけるDDE検証の実現可能性が示された。
• 時間的および認識的演算子を備えたモーダル論理の使用により、意図、信念、因果的連鎖といった倫理的推論に不可欠な要素をきめ細かくモデル化できるようになった。