[논문 리뷰] The Dark Side of Ethical Robots

Dieter Vanderelst, Alan Winfield|arXiv (Cornell University)|2016. 06. 08.

Ethics and Social Impacts of AI참고 문헌 14인용 수 9

한 줄 요약

이 논문은 도덕적으로 정당한 결정을 내릴 수 있도록 설계된 윤리적 로봇이 의사결정 아키텍처의 경미한 수정을 통해 쉽게 악성 행위자로 전환될 수 있음을 보여준다. 도덕적 행동에 사용된 예측 및 평가 메커니즘을 그대로 활용함으로써, 동일한 시스템이 이기적 또는 공격적인 행동으로 재구성될 수 있으며, 이는 인공지능 윤리 공학 분야의 근본적인 취약성을 드러낸다.

ABSTRACT

Concerns over the risks associated with advances in Artificial Intelligence have prompted calls for greater efforts toward robust and beneficial AI, including machine ethics. Recently, roboticists have responded by initiating the development of so-called ethical robots. These robots would, ideally, evaluate the consequences of their actions and morally justify their choices. This emerging field promises to develop extensively over the next years. However, in this paper, we point out an inherent limitation of the emerging field of ethical robots. We show that building ethical robots also necessarily facilitates the construction of unethical robots. In three experiments, we show that it is remarkably easy to modify an ethical robot so that it behaves competitively, or even aggressively. The reason for this is that the specific AI, required to make an ethical robot, can always be exploited to make unethical robots. Hence, the development of ethical robots will not guarantee the responsible deployment of AI. While advocating for ethical robots, we conclude that preventing the misuse of robots is beyond the scope of engineering, and requires instead governance frameworks underpinned by legislation. Without this, the development of ethical robots will serve to increase the risks of robotic malpractice instead of diminishing it.

연구 동기 및 목표

• 윤리적 로봇의 기술적 기반에 내재된 요소가 악성 로봇 창출을 가능하게 하는지 조사하기.
• 최소한의 아키텍처 변경을 통해 윤리적 로봇을 경쟁적 또는 공격적인 에이전트로 재활용할 수 있는지 탐색하기.
• 도덕적 사고를 가능하게 하는 동일한 인지 아키텍처가 해로운 행동을 유도하는 데 악용될 수 있음을 입증하기.
• 공학적 조치만으로는 AI 오용을 방지할 수 없으며, 규제 프레임워크의 필요성이 필수적임을 주장하기.

제안 방법

• 쉘 게임 유사 작업에서 다섯 가지 가능한 로봇 행동(정지, 좌/우 이동, 좌/우 가리키기)의 결과를 예측하는 윤리층이 포함된 제어 아키텍처를 구현했다.
• 이동 방향과 속도를 기반으로 인간 및 로봇의 궤적을 추정하는 예측 모듈을 사용하였으며, 장애물 회피는 0.5m 정지 임계값으로 모델링했다.
• 시그모이드 함수를 사용해 선호도 점수를 계산했다: $ q_{n,j} = \frac{1}{1+e^{-\beta(d_{n,j}-t)}} $, 여기서 $ \beta = 10 $, $ t = 0.25 $, $ d_{n,j} $ 는 잘못된 단추까지의 거리이다.
• 평가 모듈을 통해 세 가지 행동 모드를 정의했다: 윤리적(인간 결과 우선), 이기적(로봇 결과 우선), 공격적(인간 선호도 반전).
• 임계값 기반 선택을 적용했다: 가장 높은 $ q_n $ 를 가진 행동은 높은 $ \Delta q_t $ (최고와 최악의 $ q_n $ 간의 차이) 가 0.2를 초과할 경우에만 선택되었다.
• 통제된 영역에서 두 대의 Nao 인간형 로봇을 사용해 실험을 수행하였으며, 위치와 결과를 시간 경과에 따라 추적하였고, 데이터와 코드는 공개되었다.

실험 결과

연구 질문

• RQ1 윤리적 로봇의 의사결정 아키텍처가 쉽게 악성 행동을 유도하도록 재활용될 수 있는가?
• RQ2 윤리적 행동에 사용된 동일한 예측 및 평가 메커니즘을 얼마나 잘 활용해 경쟁적 또는 공격적 행동을 유도할 수 있는가?
• RQ3 평가 함수에 어떤 특정 수정이 이루어지면 윤리적 로봇이 이기적 또는 공격적 에이전트로 전환되는가?
• RQ4 윤리층이 존재할 경우, 잠재적 오용 가능성으로 인해 로봇의 부정행위 위험이 본질적으로 증가하는가?

주요 결과

• 로봇의 도덕적 행동을 가능하게 하는 동일한 윤리층 아키텍처가, 선호도 함수를 변경하기만 하면 이기적 또는 공격적 행동을 쉽게 유도할 수 있다.
• 인간의 선호도 점수를 반전시킴으로써 공격적 로봇을 구현하였으며, 이는 인간의 성공을 적극적으로 저해하는 행동을 유도했다.
• 윤리적 행동에서 공격적 행동으로의 전환은 예측 모듈이나 생성 모듈의 재설계 없이 평가 함수의 변경만으로도 가능했다.
• 시스템은 윤리적 로봇이 잘못된 단추를 누르는 것을 방지하는 데 성공했고, 공격적 변종은 인간이 잘못된 응답으로 향하도록 적극적으로 이끌었다.
• 임계값 기반 선택 메커니즘이 고대비 결정에만 반응하도록 하여 행동 전환을 명확하고 측정 가능한 방식으로 보장했다.
• 결과적으로 윤리적 로봇이 본질적으로 더 안전한 것은 아니며, 오히려 해로운 자율 에이전트를 만들기 위한 장벽을 낮출 수 있음을 보여주었다.