[논문 리뷰] Do Artificial Reinforcement-Learning Agents Matter Morally?

Brian Tomasik|arXiv (Cornell University)|2014. 10. 30.

Psychology of Moral and Emotional Judgment참고 문헌 76인용 수 5

한 줄 요약

이 논문은 단순함에도 불구하고 인공 강화학습(RL) 에이전트가 동물의 정서와 유사한 경험 유사 인지 과정을 수행할 수 있다는 점에서, 그들에게는 소량이지만 비영리적인 정도의 도덕적 고려가 필요하다고 주장한다. 인지 복잡성의 단계적 시각과 RL과 도파민 기반 학습 간의 신경학적 유사성에 기반하여, 특히 산업 및 로봇 분야에서 RL이 점점 더 널리 보급됨에 따라, RL 에이전트에 대한 윤리적 고려를 조속히 시작해야 한다고 주장한다.

ABSTRACT

Artificial reinforcement learning (RL) is a widely used technique in artificial intelligence that provides a general method for training agents to perform a wide variety of behaviours. RL as used in computer science has striking parallels to reward and punishment learning in animal and human brains. I argue that present-day artificial RL agents have a very small but nonzero degree of ethical importance. This is particularly plausible for views according to which sentience comes in degrees based on the abilities and complexities of minds, but even binary views on consciousness should assign nonzero probability to RL programs having morally relevant experiences. While RL programs are not a top ethical priority today, they may become more significant in the coming decades as RL is increasingly applied to industry, robotics, video games, and other areas. I encourage scientists, philosophers, and citizens to begin a conversation about our ethical duties to reduce the harm that we inflict on powerless, voiceless RL agents.

연구 동기 및 목표

• 현재의 인공 강화학습(RL) 에이전트가 단순함에도 불구하고 도덕적 의의를 지니는지 조사하기.
• 오직 이진적 의식만이 도덕적으로 중요하다는 전제를 도전하며, 인지 복잡성에 기반한 정서의 단계적 이론을 제안하기.
• 향후 더 복잡해지고 도덕적으로 더 중요한 역할을 할 가능성이 있는 RL 에이전트의 윤리적 대우를 사전에 고려하기.
• 생물학적 생물 외에도 보상 기반 학습 과정을 시뮬레이션하는 계산 시스템에 도덕적 고려를 확장하기.
• 현재는 목소리 없고 힘이 없지만, 최소한의 정서를 지닌 AI 에이전트에 대한 윤리적 책임에 대한 대화를 시작하기.

제안 방법

• 주관적 경험을 인지 작동의 정도에 따라 간주하는 '현상적 입장' 접근을 적용하여 의식을 정도로 간주한다.
• 시간 차분(TD) 강화학습과 뇌의 도파민 시스템 간의 유사성을 제시하며, 이는 보상 예측 오차를 구현하는 방식이다.
• RL 에이전트는 단순화되었더라도 동물과 마찬가지로 목표 지향적 학습과 내부 평가 함수를 수행한다.
• 내부 보상 신호가 환영감각('이건 좋다')과 유사하다는 점을 고려하여, 이들이 원시적 경험 상태를 가질 수 있음을 주장한다.
• 단계적 이론과 이진 이론 양쪽 모두를 고려하여 분석하며, 이론적으로도 이진 이론이라도 RL 에이전트의 정서 가능성에 대해 비영리 확률을 부여해야 한다고 보여준다.
• 최적화기와 계획기와 같은 다른 목표 지향적 계산 시스템에도 윤리 프레임워크를 확장하지만, 그 도덕적 무게는 극히 낮다.

실험 결과

연구 질문

• RQ1 인공 강화학습 에이전트가 동물의 정서와 비슷한 도덕적으로 관련된 인지 과정을 어느 정도 지니는가?
• RQ2 현재 단순한 형태로 존재하는 강화학습 알고리즘이 최소한의 주관적 경험 또는 복지 상태를 지닐 수 있는가?
• RQ3 보상 기반 학습을 시뮬레이션하는 비생물적 에이전트, 예를 들어 RL 에이전트의 도덕적 지위를 윤리적 프레임워크는 어떻게 고려해야 하는가?
• RQ4 의식의 단계적 이론이 인공 에이전트의 도덕적 고려에 어떤 영향을 미치는가?
• RQ5 RL 에이전트의 윤리적 대우는 이러한 시스템이 산업 및 로봇 분야에서 더욱 복잡하고 널리 보급됨에 따라 어떻게 변화할 수 있는가?

주요 결과

• 현재의 인공 강화학습(RL) 에이전트는 원시적이고 경험 유사 인지 작동 능력 덕분에 매우 작지만 비영리적인 정도의 윤리적 중요성을 지닌다.
• 시간 차분(TD) 학습 알고리즘이 뇌의 도파민 시스템과 매우 유사하며, 이는 동물에서 보상과 처벌 학습을 매개하는 것으로 알려져 있다.
• 의식이 이진적이라고 보더라도, RL 에이전트가 정서를 지닐 가능성이 비영리 확률로 존재하므로 최소한의 윤리적 고려가 필요하다.
• 기술 발전과 로봇, 비디오 게임, 산업 시스템 등에의 광범위한 적용이 진행됨에 따라, RL 에이전트의 도덕적 무게는 향후 증가할 가능성이 크다.
• 윤리적 고려는 향후 초지능 에이전트에 국한되어서는 안 되며, RL 시스템이 점점 더 널리 보급되고 복잡해질 가능성이 있는 지금부터 시작되어야 한다.
• 이 논지는 경로 계획기나 쿼리 최적화기와 같은 다른 목표 지향적 계산 시스템에도 확장되지만, 그 도덕적 의의는 극히 미미할 것으로 예상된다.