[논문 리뷰] Reinforcement Learning Under Moral Uncertainty

Adrien Ecoffet, Joel Lehman|arXiv (Cornell University)|2020. 06. 08.

Reinforcement Learning in Robotics참고 문헌 52인용 수 11

한 줄 요약

이 논문은 도덕적 불확실성 하에서 강화학습을 위한 프레임워크를 제안한다. 여기서 에이전트는 유틸리타리티즘과 디온토로로지 등 서로 대립하는 윤리 이론들을 비례적 발언권 원칙 등에 따라 균형을 이룬다. 보상 함수가 상호 비교가 불가능한 경우를 다루기 위해 변동성 투표, 반복 네쉬 협상, 이차 비용 조정과 같은 새로운 학습 방법을 제안하며, 도메인 내에서 극단적인 행동을 줄이고 윤리적 의사결정의 원칙적인 타협을 가능하게 한다. 이는 격자형 도메인에서의 도덕적 딜레마에 대한 실험을 통해 입증된다.

ABSTRACT

An ambitious goal for machine learning is to create agents that behave ethically: The capacity to abide by human moral norms would greatly expand the context in which autonomous agents could be practically and safely deployed, e.g. fully autonomous vehicles will encounter charged moral decisions that complicate their deployment. While ethical agents could be trained by rewarding correct behavior under a specific moral theory (e.g. utilitarianism), there remains widespread disagreement about the nature of morality. Acknowledging such disagreement, recent work in moral philosophy proposes that ethical behavior requires acting under moral uncertainty, i.e. to take into account when acting that one's credence is split across several plausible ethical theories. This paper translates such insights to the field of reinforcement learning, proposes two training methods that realize different points among competing desiderata, and trains agents in simple environments to act under moral uncertainty. The results illustrate (1) how such uncertainty can help curb extreme behavior from commitment to single theories and (2) several technical complications arising from attempting to ground moral philosophy in RL (e.g. how can a principled trade-off between two competing but incomparable reward functions be reached). The aim is to catalyze progress towards morally-competent agents and highlight the potential of RL to contribute towards the computational grounding of moral philosophy.

연구 동기 및 목표

• 단일 윤리 이론이 보편적으로 수용되지 않을 경우 강화학습에서 윤리적 의사결정을 다루는 데 도전하는 것.
• 도덕적 불확실성의 철학적 개념을 계산적으로 기반한 강화학습 프레임워크로 번역하는 것.
• 보상 함수가 상호 비교가 불가능한 경우에도 신뢰도에 기반해 서로 다른 윤리 이론 간의 영향력을 공정하게 균형 잡는 방법을 개발하는 것.
• 도덕적 불확실성이 단일 윤리 이론에 대한 과도한 헌신으로 인한 극단적 행동을 줄일 수 있는지 평가하는 것.
• 다중 목표 및 상호 비교가 불가능한 보상 설정에서 윤리 철학을 강화학습에 통합할 때 발생하는 기술적 과제를 부각하는 것.

제안 방법

• 다양한 윤리 이론(예: 유틸리타리즘, 디온토로로지즘)에 대한 신뢰도를 할당함으로써 도덕적 불확실성 하에서 행동하는 에이전트를 위한 프레임워크를 제안한다.
• 다양한 이론 간 보상 분산을 기반으로 정책을 선택하는 데 목적이 있는 변동성 투표 방법을 도입하여 내성적 안정성을 확보한다.
• 서로 비교가 불가능한 윤리적 보상 함수 간의 안정적 타협을 찾기 위해 반복 네쉬 협상을 적용한다.
• 네쉬 투표의 수렴성과 안정성을 향상시키기 위해 이차 비용 정규화를 사용한다.
• 도메인 내에서의 윤리적 행동을 시험하기 위해 트롤리 문제를 모델링한 격자형 환경을 사용한다.
• 각 윤리 이론이 자신의 신뢰도 비례로 결과에 영향을 미치도록 보장하기 위해 비례적 발언권 원칙을 구현한다.

실험 결과

연구 질문

• RQ1 강화학습에서 도덕적 불확실성 하에 존재하는 상호 비교가 불가능한 여러 윤리 이론을 어떻게 균형 잡을 수 있는가?
• RQ2 강화학습에서의 도덕적 불확실성이 단일 윤리 프레임워크에 대한 과도한 헌신으로 인한 극단적 행동을 줄일 수 있는가?
• RQ3 보상 함수가 본질적으로 상호 비교가 불가능한 경우 윤리 철학을 강화학습에 적용할 때 발생하는 기술적 과제는 무엇인가?
• RQ4 다양한 투표 메커니즘(예: 변동성 투표, 네쉬 협상)이 불확실성 하에서 윤리적 의사결정을 안정화시키는 데 어떻게 작용하는가?
• RQ5 비례적 발언권 원칙이 강화학습에서 효과적으로 적용되어 각 윤리 이론의 영향력이 공정하게 반영될 수 있는가?

주요 결과

• 도덕적 불확실성은 단일 윤리 이론에 대한 과도한 헌신을 방지함으로써 극단적인 행동을 억제한다. 예를 들어, 항상 한 생명을 희생시켜 많은 생명을 구하는 것과 같은 행동을 막는다.
• 변동성 투표와 반복 네쉬 협상은 유틸리타리즘과 디온토로로지즘 간에 안정적이고 직관적인 타협을 이끌어내는 데 유망한 성과를 보였다.
• 보상 척도가 일치하지 않거나 적대적인 경우 일부 투표 방법(예: 변동성 투표, 반복 네쉬)에서 불안정성이 관찰되어 구현 세부 사항에 민감함을 보였다.
• 이차 비용 정규화의 사용은 네쉬 기반 방법의 수렴성을 향상시키고 진동을 감소시켜 특히 더 복잡한 딜레마인 더블 트롤리 문제에서 유의미한 개선을 이뤘다.
• 가드 트롤리 문제에서는 알 수 없는 적대자와 함께 네쉬 투표에 이차 비용을 적용한 경우 시간이 지남에 따라 안정성이 향상되었지만, 수렴성은 여전히 도전 과제로 남아 있었다.
• 결과적으로 도덕적 불확실성은 윤리 이론 간의 상호 비교가 불가능하더라도 윤리적으로 타당한 정책을 도출할 수 있음을 보여주며, 강화학습에서 계산적으로 기반한 도덕적 사고의 가능성을 뒷받침한다.