[논문 리뷰] An architecture for ethical robots

Dieter Vanderelst, Alan Winfield|arXiv (Cornell University)|2016. 09. 09.

Social Robot Interaction and HRI참고 문헌 5인용 수 5

한 줄 요약

이 논문은 사전 정의된 윤리 규칙에 기반해 행동을 평가하고 거부할 수 있도록 해주는 윤리 계층 제어 아키텍처를 제안한다. 이는 결과 예측과 규칙 기반 평가를 통해 작동하며, 인간형 로봇에 아지모프의 법칙을 적용하여 구현되었다. 단일 인간 상황에서는 해를 방지하는 데 성공했지만, 이중 인간 갈등 상황에서는 더 천천히 움직이는 사람을 우선적으로 고려하는 부작용이 드러나, 윤리적 AI 시스템의 검증이 필요하다는 점을 시사한다.

ABSTRACT

Robots are becoming ever more autonomous. This expanding ability to take unsupervised decisions renders it imperative that mechanisms are in place to guarantee the safety of behaviours executed by the robot. Moreover, smart autonomous robots should be more than safe; they should also be explicitly ethical -- able to both choose and justify actions that prevent harm. Indeed, as the cognitive, perceptual and motor capabilities of robots expand, they will be expected to have an improved capacity for making moral judgements. We present a control architecture that supplements existing robot controllers. This so-called Ethical Layer ensures robots behave according to a predetermined set of ethical rules by predicting the outcomes of possible actions and evaluating the predicted outcomes against those rules. To validate the proposed architecture, we implement it on a humanoid robot so that it behaves according to Asimov's laws of robotics. In a series of four experiments, using a second humanoid robot as a proxy for the human, we demonstrate that the proposed Ethical Layer enables the robot to prevent the human from coming to harm.

연구 동기 및 목표

• 실행 전 행동을 평가함으로써 자율 로봇이 윤리적으로 행동할 수 있도록 하는 제어 아키텍처를 개발하는 것.
• 자율성과 인간 상호작용이 증가함에 따라 로봇이 명시적인 도덕적 판단을 내려야 하는 증가하는 필요성을 해결하는 것.
• 실세계 로봇 행동에 아지모프의 법칙과 같은 윤리 규칙을 시행하는 시스템을 구현하고 경험적으로 테스트하는 것.
• 윤리적 의사결정 시스템에서 규칙 간 상호작용으로 인해 발생할 수 있는 예상치 못한 결과를 조사하는 것.
• 기존 로봇 제어기와 통합할 수 있는 검증 가능한 윤리 제어 계층의 실현 가능성을 보여주는 것.

제안 방법

• 윤리 계층은 로봇 제어기와 액추에이터 사이에 병렬로 작동하는 감시 모듈로 통합되며, 기존 제어 시스템과 동시에 작동한다.
• 아키텍처는 네 가지 구성 요소로 이루어져 있다: 대체 행동을 생성하는 생성 모듈, 행동 결과를 시뮬레이션하는 예측 모듈, 예측 결과를 윤리 규칙과 비교하는 평가 모듈, 행동 선택을 위한 해석 모듈.
• 시스템은 에이전트의 경로를 시뮬레이션하여 향후 상태를 예측하며, 위험 지역과의 거리와 예측 결과를 바탕으로 각 행동에 대해 해로움/이득 점수 (q_i,t) 를 계산한다.
• 윤리 규칙는 예측 결과에 대한 제약 조건으로 표현되며, 예를 들어 인간에게 해를 끼치는 행동은 거부된다.
• 이 아키텍처는 결과주의 프레임워크를 사용하며, 행동의 바람직함은 예측된 순 결과에 의해 유도된다.
• 윤리 계층을 별도의 테스트 가능한 구성 요소로 간주함으로써 검증이 가능해지며, 규칙 갈등과 같은 예상치 못한 행동을 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 로봇이 실행 전 윤리 규칙에 기반해 행동을 평가함으로써 인간에게 해를 입히는 것을 자율적으로 방지할 수 있는가?
• RQ2 다중 에이전트 상황에서 윤리 규칙는 어떻게 상호작용하며, 단순한 규칙 세트에서 예상치 못한 행동이 발생할 수 있는가?
• RQ3 모듈형 윤리 제어 계층은 기존의 로봇 제어 아키텍처에 효과적으로 통합될 수 있는가?
• RQ4 동적인 실세계 환경에서 규칙 기반 윤리적 의사결정의 한계는 무엇인가?
• RQ5 윤리 계층의 행동은 얼마나 검증되고 검증 가능하며, 해로운 결과를 방지할 수 있는가?

주요 결과

• 윤리 계층은 네 차례의 실험 시험에서 단일 인간이 위험한 위치에 도달하는 것을 성공적으로 방지하여 효과적인 해를 방지하는 것을 입증했다.
• 두 사람이 동시에 위험 지역에 접근할 경우, 로봇은 가장 높은 예측된 해로움 점수 (q_i,t) 를 가진 더 천천히 움직이는 사람을 우선으로 선택했으며, 이는 위험 지역에 가장 가까운 사람을 우선으로 선택하는 것과는 다름을 보였다.
• 이러한 행동—즉, 가장 느린 사람을 먼저 구하는 것—은 연구자들이 예상하지 못했으며, 직관적인 윤리적 기대와 배치된다.
• 이러한 갈등은 윤리 계층이 단일 행동에 대해 예측된 결과 점수 (q_i,t) 를 최대화하는 방식으로 작동하면서 발생했으며, 이는 최적의 우선순위가 아니게 되었다.
• 결과적으로 단순한 윤리 규칙이라도 복잡한 상황에서 상호작용할 경우 예상치 못한, 심지어 비윤리적인 결과를 낳을 수 있음을 확인했다.
• 이 연구는 이러한 급성 행동이 발생하기 전에 배포 전에 탐지할 수 있도록 형식적 검증이 윤리적 AI 시스템에 필수적임을 강조한다.