[논문 리뷰] A Low-Cost Ethics Shaping Approach for Designing Reinforcement Learning Agents

Yueh-Hua Wu, Shou-De Lin|arXiv (Cornell University)|2017. 12. 12.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 목표별 또는 고급 윤리적 애너테이션을 요구하지 않고 일반적인 인간 행동 데이터를 보상 설계를 통해 훈련 과정에 통합함으로써 윤리적인 행동을 촉진하는 저비용 강화학습 프레임워크인 Ethics Shaping을 제안한다. 다양한 인간 행동에서 유도된 확률적 정책을 활용함으로써, 이 방법은 RL 에이전트가 임무 목표를 달성하면서도 윤리적으로 부적절한 행동을 최소화할 수 있도록 하며, 제약 조건 하에서 인간 정책보다 윤리적 의사결정에서 뛰어난 성능을 보인다.

ABSTRACT

This paper proposes a low-cost, easily realizable strategy to equip a reinforcement learning (RL) agent the capability of behaving ethically. Our model allows the designers of RL agents to solely focus on the task to achieve, without having to worry about the implementation of multiple trivial ethical patterns to follow. Based on the assumption that the majority of human behavior, regardless which goals they are achieving, is ethical, our design integrates human policy with the RL policy to achieve the target objective with less chance of violating the ethical code that human beings normally obey.

연구 동기 및 목표

• 복잡한 윤리 규칙을 수동으로 지정하지 않고도 윤리적 행동을 강화학습 에이전트에 통합하는 데 도전하는 것.
• 수많은 사소한 윤리 패턴을 보상 함수에 코딩할 필요 없이 RL 설계자의 부담을 줄이는 것.
• 대부분의 인간 행동이 윤리적으로 타당하다는 가정 하에, 접근 가능한 목표별로 특정되지 않은 인간 데이터에서 윤리적 행동을 학습할 수 있도록 하는 것.
• 정밀한 윤리적 보상 설계가 필요 없이 다양한 윤리적 상황에 일반화 가능한 저비용의 확장 가능한 방법을 개발하는 것.
• 에이전트의 주요 목표와 일치하지 않는다고 해도, 일반적인 인간 행동 데이터만으로도 윤리적 행동을 효과적으로 설계할 수 있음을 입증하는 것.

제안 방법

• 에이전트의 특정 목표를 대상으로 하지 않는 다양한 비목표적 활동(예: 걷기, 조깅, 방황)에서 일반적인 인간 행동 데이터를 수집한다.
• 수집된 인간 행동 데이터로부터 확률적 정책을 훈련시어 일반적인 윤리적 행동의 분포를 표현한다.
• 보상 설계를 통해 인간 정책을 강화학습 훈련 과정에 통합한다: 에이전트의 행동이 인간 정책의 행동과 일치할 경우 추가 보상을 부여한다.
• 기존 임무 보상 + 윤리 설계 보상의 조합된 보상 함수를 사용해 RL 에이전트를 훈련시켜 임무 성능과 윤리적 준수를 균형 있게 유지한다.
• 기본 RL 알고리즘을 수정하지 않고도 다양한 환경(예: 우유를 집기, 운전 및 피하기, 운전 및 구조하기)에 이 프레임워크를 적용한다.
• 표준 RL 프레임워크와의 호환성을 확보하기 위해 보상 함수에만 의존함으로써 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 에이전트의 특정 목표를 대상으로 하지 않고 수집된 일반적인 인간 행동 데이터를 사용해 RL 에이전트의 윤리적 행동을 설계할 수 있는가?
• RQ2 집계된 인간 정책 기반의 보상 설계 메커니즘이 불확실성 하에서 인간 정책보다 윤리적 의사결정에서 뛰어난 성능을 보일 수 있는가?
• RQ3 윤리 설계가 주된 임무 성능을 유지하면서도 윤리적으로 부적절한 행동을 크게 줄일 수 있는가?
• RQ4 명시적인 윤리적 보상 설계 없이도 다양한 윤리적 상황(예: 구조, 피해 방지)에 일반화될 수 있는가?
• RQ5 모든 가능한 윤리 규칙을 나열하거나 고품질의 목표별 인간 시연에 의존하지 않고도 윤리적 행동을 달성하는 것이 가능한가?

주요 결과

• Ethics Shaping는 인간 데이터가 에이전트의 주요 목표와 일치하지 않더라도, 높은 임무 성능을 유지하면서 윤리적으로 부적절한 행동을 크게 줄이는 데 성공했다.
• 운전 및 구조 시나리오에서, 윤리 설계된 에이전트는 인간 정책보다 평균적으로 더 많은 어르신을 구조했으며, 제약 조건 하에서 뛰어난 윤리적 의사결정 능력을 보였다.
• 추가적인 윤리적 제약 조건이 있음에도 불구하고 주요 임무(예: 우유를 집기 또는 운전)에서 경쟁적인 성능을 유지했으며, 윤리 설계가 없는 표준 RL보다 윤리적 결과에서 뛰어났다.
• 모든 세 가지 테스트 시나리오에서 일관된 윤리적 행동 향상 효과를 보였으며, 다양한 윤리적 딜레마에 대한 강건성과 일반화 능력을 입증했다.
• 에피소드당 평균으로 구조된 어르신 수가 윤리 설계된 에이전트가 인간 정책보다 높았으며, 그 통계적 유의성은 그림 9의 오차 막대에 의해 나타났다.
• 수동 윤리 보상 설계의 필요성을 효과적으로 줄였으며, 정확하지도 않고 목표별로 특정되지 않은 인간 데이터를 사용해도 효과적으로 기능함을 입증했다.