[논문 리뷰] Preferences Implicit in the State of the World

Rohin Shah, Dmitrii Krasheninnikov외 3명|arXiv (Cornell University)|2019. 02. 12.

Bayesian Modeling and Causal Inference인용 수 15

한 줄 요약

이 논문은 보상 학습을 과거를 시뮬레이션하는 방식(RLSP)으로 제안하며, 환경의 초기 상태가 인간 최적화 조건을 반영한다고 가정하여 최대 인과 엔트로피 역강화학습(MCE-IRL)을 사용해 인간의 선호를 추론한다. 이는 명시적인 보상 설계 없이도 측면 효과(예: 화분 파손)를 피하고 활성 작업(예: 사과 수확)을 추론할 수 있도록 하여, 세계 상태에 암묵적으로 담긴 선호 정보가 안전하고 목표 지향적인 행동을 이끌 수 있음을 보여준다.

ABSTRACT

Reinforcement learning (RL) agents optimize only the features specified in a reward function and are indifferent to anything left out inadvertently. This means that we must not only specify what to do, but also the much larger space of what not to do. It is easy to forget these preferences, since these preferences are already satisfied in our environment. This motivates our key insight: when a robot is deployed in an environment that humans act in, the state of the environment is already optimized for what humans want. We can therefore use this implicit preference information from the state to fill in the blanks. We develop an algorithm based on Maximum Causal Entropy IRL and use it to evaluate the idea in a suite of proof-of-concept environments designed to show its properties. We find that information from the initial state can be used to infer both side effects that should be avoided as well as preferences for how the environment should be organized. Our code can be found at https://github.com/HumanCompatibleAI/rlsp.

연구 동기 및 목표

• 강화학습에서 완전한 보상 함수를 지정하는 데 어려움을 해결하기 위해, 특히 의도하지 않은 측면 효과를 방지하는 데 초점한다.
• 환경의 초기 상태가 암묵적으로 최적화되어 있음을 활용해 인간 선호 정보의 원천으로 삼는다.
• 지도 데이터나 인간 피드백 없이도 상태 자체에서 선호를 추론하는 방법을 개발한다.
• 초기 상태가 측면 효과를 피할 것인지, 수행할 작업이 무엇인지에 대한 정보를 담고 있는지 평가한다.
• RLSP가 암묵적인 인간 선호를 통합함으로써 샘플 효율성과 안전성을 향상시킬 수 있음을 보여준다.

제안 방법

• 이 방법은 초기 상태 $ s_0 $ 가 인간 최적화된 구성임을 전제로 하며, 이는 이전 인간 행동이 부정적 결과를 피했다는 의미이다.
• 최대 인과 엔트로피 역강화학습(MCE-IRL)을 사용해 인간 행동 하에 $ s_0 $ 가 발생할 가능성이 높은 이유를 설명하는 보상 함수 $ \theta_{\text{Alice}} $ 를 추론한다.
• 알려진 동역학과 수동으로 코딩된 특징을 가정할 때, $ s_0 $ 를 이르는 가능한 과거 경로를 시뮬레이션하여 인간 보상 $ \theta_{\text{Alice}} $ 의 MAP 추정치를 계산한다.
• 추론된 인간 보상 $ \theta_{\text{Alice}} $ 와 지정된 보상 $ \theta_{\text{spec}} $ 를 가중치 합으로 조합하여 최종 보상 $ \theta_{\text{final}} $ 를 형성한다.
• 로봇은 최종 보상 $ \theta_{\text{final}} $ 를 최적화하여 작업 성과와 측면 효과 방지를 균형 있게 달성한다.
• 이 방법은 측면 효과 방지 및 활성 작업 수행 능력을 테스트하기 위해 설계된 격자 환경에서 평가된다.

실험 결과

연구 질문

• RQ1 환경의 초기 상태가 화분 파손과 같은 측면 효과를 피할 것인지에 대한 인간 선호를 암묵적으로 포함하고 있는가?
• RQ2 초기 상태는 사과 수확이나 배터리 충전과 같은 활성 작업에 대한 선호도 암묵적으로 포함하고 있는가?
• RQ3 지도 데이터 없이도 상태와 알려진 동역학만으로 RLSP가 이러한 선호를 얼마나 잘 추론할 수 있는가?
• RQ4 특히 동역학이 알려져 있지 않거나 특징이 모호할 경우, 단일 상태에서 선호를 추론하는 데 가지는 한계는 무엇인가?
• RQ5 추론된 선호를 지정된 보상과 조합했을 때 전체 작업 성능과 안전성에 어떤 영향을 미치는가?

주요 결과

• 인간 행동에 의해 최적화된 환경의 초기 상태는 측면 효과를 피할 것인지, 수행할 작업이 무엇인지에 대한 암묵적인 정보를 포함하고 있다.
• 보상 함수에 해당 페널티가 명시되어 있지 않더라도, RLSP는 화분 파손을 피해야 한다는 것을 성공적으로 추론하였다.
• 나무 근처에 놓인 바구니가 사과 수확을 위한 선호를 암시한다는 것을 알고 있음을 확인하여, 로봇이 이 암묵적 작업을 수행할 수 있도록 했다.
• 격자 환경에서 계획 수평 $ T $ 와 초기 상태에 대한 사전 분포 $ s_{-T} $ 의 변동에 대해 이 방법이 강건함을 보였다.
• 그러나 초기 상태가 인간 최적화의 결과가 아닌 경우(예: 대기 중 산소), RLSP는 관련 선호를 추론하지 못했다.
• 추론된 인간 선호(기존 상태 유지)와 지정된 보상 사이에 갈등이 드러나, 보다 나은 보상 조합 또는 인간 질의 메커니즘의 필요성을 시사했다.