[논문 리뷰] On Automating the Doctrine of Double Effect

Naveen Sundar Govindarajulu, Selmer Bringsjord|arXiv (Cornell University)|2017. 03. 27.

Logic, Reasoning, and Knowledge참고 문헌 15인용 수 10

한 줄 요약

이 논문은 제1차 논리의 모달 논리—특히 디온티크 인지 이벤트 미니머틱스(DCEC)를 사용하여 인공지능 시스템에서 이중 효과의 도ctrine(DDE)를 자동화하는 형식적 프레임워크를 제안한다. 이는 DDE 준수 자율 에이전트의 설계와 기존 AI 시스템의 DDE 준수 여부 검증을 모두 가능하게 하며, 고전적인 윤리적 딜레마를 성공적으로 시뮬레이션하고 계획 및 POMDP 모델에서의 실현 가능성을 입증한다.

ABSTRACT

The doctrine of double effect ($\mathcal{DDE}$) is a long-studied ethical principle that governs when actions that have both positive and negative effects are to be allowed. The goal in this paper is to automate $\mathcal{DDE}$. We briefly present $\mathcal{DDE}$, and use a first-order modal logic, the deontic cognitive event calculus, as our framework to formalize the doctrine. We present formalizations of increasingly stronger versions of the principle, including what is known as the doctrine of triple effect. We then use our framework to simulate successfully scenarios that have been used to test for the presence of the principle in human subjects. Our framework can be used in two different modes: One can use it to build $\mathcal{DDE}$-compliant autonomous systems from scratch, or one can use it to verify that a given AI system is $\mathcal{DDE}$-compliant, by applying a $\mathcal{DDE}$ layer on an existing system or model. For the latter mode, the underlying AI system can be built using any architecture (planners, deep neural networks, bayesian networks, knowledge-representation systems, or a hybrid); as long as the system exposes a few parameters in its model, such verification is possible. The role of the $\mathcal{DDE}$ layer here is akin to a (dynamic or static) software verifier that examines existing software modules. Finally, we end by presenting initial work on how one can apply our $\mathcal{DDE}$ layer to the STRIPS-style planning model, and to a modified POMDP model.This is preliminary work to illustrate the feasibility of the second mode, and we hope that our initial sketches can be useful for other researchers in incorporating DDE in their own frameworks.

연구 동기 및 목표

• 윤리적 AI 시스템에서의 자동화를 가능하게 하는 방식으로 이중 효과의 도ctrine(DDE)를 형식화하는 것.
• 이전의 형식화에서 부족한 계산 실현 가능성 또는 믿음과 의도와 같은 내재적 상태를 다루지 못하는 한계를 보완하는 것.
• 두 가지 응용 방식을 가능하게 하는 것: (1) DDE 준수 시스템을 처음부터 구축하는 것, (2) DDE 레이어를 통해 기존 AI 시스템의 준수 여부를 검증하는 것.
• 표준 AI 모델인 STRIPS 및 POMDP와 같은 모델에서 프레임워크의 실현 가능성을 입증하는 것.
• 논리적으로 엄밀한 방식으로 의도, 결과 및 효용의 상충을 코딩하여 자율 에이전트의 윤리적 사고를 지원하는 것.

제안 방법

• 인지적, 믿음적, 디온티크적 연산자를 갖춘 제1차 모달 논리인 디온티크 인지 이벤트 미니머틱스(DCEC)를 사용하여 DDE를 형식화하는 것.
• DDE 조건을 표현: 의도하지 않은 피해, 피해가 부수적 결과로 발생, 그리고 효용 비율이 임계값을 초과하는 것을 정량적 효용 표현을 통해 기술하는 것.
• 모든 AI 시스템(플래너, 신경망, 베이지안 네트워크 등)에 적용 가능한 DDE 레이어를 도입하여 핵심 매개변수를 노출함으로써 검증을 가능하게 하는 것.
• 시간적, 의도적, 인과적 관계를 모델링하기 위해 추론 규칙(R1–R14)을 사용하며, 반사적 추론과 믿음 전파를 포함하는 것.
• 더 정교한 윤리적 차이를 포착하기 위해 삼중 효과의 도ctrine를 확장하여 형식화하는 것.
• STRIPS 기반 계획 및 수정된 POMDP 모델에 프레임워크를 적용하여 실제 AI 아키텍처에서의 검증 및 통합을 설명하는 것.

실험 결과

연구 질문

• RQ1 어떻게 하면 AI 시스템에서 자동화를 지원하는 방식으로 이중 효과의 도ctrine(DDE)를 형식적으로 표현할 수 있는가?
• RQ2 논리 기반 프레임워크는 DDE에 핵심적인 내재적 상태(예: 믿음, 의도)를 다룰 수 있는가? 동시에 기존의 외적 시스템에서 흔히 발생하는 모순을 피할 수 있는가?
• RQ3 기존 AI 시스템의 기반 아키텍처에 관계없이 DDE 준수 레이어를 얼마나 넓게 적용할 수 있는가?
• RQ4 표준 AI 계획 및 의사결정 모델인 STRIPS 및 POMDP에 이 프레임워크를 어떻게 적용할 수 있는가?
• RQ5 형식적이고 논리 기반의 검증 레이어를 사용해 AI 시스템의 윤리 준수 여부를 검증하는 데 있어 이 프레임워크의 실현 가능성은 어느 정도인가?

주요 결과

• 디온티크 인지 이벤트 미니머틱스는 내재적 연산자와 정량적 효용을 완전히 지원하여 이전의 논리-프로그래밍 접근 방식의 한계를 극복하며 DDE를 성공적으로 형식화하였다.
• 이 프레임워크는 기반 AI 아키텍처에 관계없이 DDE 준수 에이전트의 구축과 기존 AI 시스템의 검증을 모두 가능하게 하며, 플러그인 방식의 DDE 레이어를 통해 적용 가능하다.
• 인간의 윤리적 판단 연구에서 사용된 고전적 윤리적 딜레마를 정확히 시뮬레이션하며, 인간의 DDE 사용에 대한 경험적 결과와 일치한다.
• 이 프레임워크는 더 강력한 변형으로서 삼중 효과의 도ctrine를 지원하여 더 정교한 윤리적 사고의 능력을 입증한다.
• STRIPS 및 POMDP 모델에 대한 초기 통합 결과는 DDE 검증이 표준 AI 계획 및 의사결정 프레임워크에서 실현 가능하다는 것을 보여준다.
• 시간적 및 지각적 연산자를 갖춘 모달 논리를 사용함으로써 의도, 믿음, 인과적 사슬과 같은 윤리적 사고에 필수적인 요소들을 엄밀하게 모델링할 수 있다.