[논문 리뷰] Parenting: Safe Reinforcement Learning from Human Input

Christopher Frye, Ilya Feige|arXiv (Cornell University)|2019. 02. 18.

Reinforcement Learning in Robotics참고 문헌 19인용 수 4

한 줄 요약

이 논문은 인간 육성 방식을 영감으로 삼아 인간의 간섭, 선호도 피드백, 직접적 정책 학습을 융합한 안전한 강화학습 프레임워크인 Parenting 알고리즘을 소개한다. 이는 보상 해킹, 안전하지 않은 탐색, 부정적 부작용을 방지한다. 새로운 성숙 과정을 도입함으로써 에이전트는 시간이 지남에 따라 부모를 능가하는 성능을 발휘하면서도 안전성을 유지하고 새로운 환경으로의 일반화도 가능해진다.

ABSTRACT

Autonomous agents trained via reinforcement learning present numerous safety concerns: reward hacking, negative side effects, and unsafe exploration, among others. In the context of near-future autonomous agents, operating in environments where humans understand the existing dangers, human involvement in the learning process has proved a promising approach to AI Safety. Here we demonstrate that a precise framework for learning from human input, loosely inspired by the way humans parent children, solves a broad class of safety problems in this context. We show that our Parenting algorithm solves these problems in the relevant AI Safety gridworlds of Leike et al. (2017), that an agent can learn to outperform its parent as it "matures", and that policies learnt through Parenting are generalisable to new environments.

연구 동기 및 목표

• 강화학습에서의 핵심 AI 안전 문제인 안전하지 않은 탐색, 보상 해킹, 부정적 부작용, 안전하지 않은 중단 가능성 등을 해결한다.
• 정확히 정의된 보상 함수에 의존하지 않고도 인간이 자율 에이전트의 훈련에 참여할 수 있는 프레임워크를 개발한다.
• 선호도 기반 보상 모델링의 한계를 극복한다. 이는 보상 함수의 이동 불확실성 문제를 야기하고 작업에 특화된 초모수 조정이 필요하기 때문이다.
• 장기적인 행동 시퀀스에 대한 피드백을 사용해 점진적으로 정책을 최적화하는 성숙 과정을 통해 에이전트가 부모 정책을 초월하도록 한다.
• 안전한 정책이 새로운 환경으로 일반화되어 반복적인 인간 간섭의 필요성을 줄인다.

제안 방법

• 실시간으로 인간의 간섭을 통해 탐색 중 위험한 행동을 방지하고, 부모의 방향 전환을 모방한다.
• 에이전트 행동의 클립을 대상으로 인간의 선호도를 수집하여 행동 시퀀스에 대한 피드백을 제공하며, 이는 후행적 부모의 피드백과 유사하다.
• 인간 간섭과 선호도에서 유도된 레이블 데이터를 사용해 직접적으로 정책을 학습하는 지도학습을 적용함으로써 보상 함수의 정의를 피한다.
• 성숙 과정을 구현: 피드백이 점차 긴 행동 클립에 대해 주어지며, 장기적인 정책 최적화를 가능하게 한다.
• 가치 반복 유사 동역학을 사용해 에이전트의 정책이 시간이 지남에 따라 향상되도록 하며, 시퀀스 길이가 증가함에 따라 가치 함수 $ V_T $ 가 최적화로 수렴하도록 보장한다.
• 보상 모델의 이동 불확실성을 방지하기 위해 인간 선호도의 대칭성을 유지함으로써 보상 함수 평균의 초모수 조정이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 보상 함수에 의존하지 않고도 인간의 간섭과 선호도 피드백의 조합이 안전하게 RL 에이전트를 훈련시킬 수 있는가?
• RQ2 보상 함수가 불완전하거나 모호할 경우 강화학습에서 안전하지 않은 탐색과 보상 해킹을 어떻게 완화할 수 있는가?
• RQ3 구조화된 인간 이끄는 성숙 과정을 통해 학습 에이전트가 점차적으로 자신의 부모 정책을 능가할 수 있는가?
• RQ4 선호도 기반 보상 모델링에서 발생하는 이동 불확실성 문제를 피하기 위해 인간 피드백에서 직접 정책을 학습하는 것이 가능한가?
• RQ5 Parenting를 통해 학습된 정책가 새로운 환경으로 일반화될 수 있는 정도는 어느 정도이며, 재훈련이나 재간섭 없이도 가능한가?

주요 결과

• Parenting 알고리즘은 Leike 등(2017)의 AI Safety gridworlds에서 핵심 AI 안전 문제 다섯 가지—안전하지 않은 탐색, 보상 해킹, 부정적 부작용, 안전하지 않은 중단 가능성, 누락된 감독자—를 모두 효과적으로 완화했다.
• 인간 피드백에서 직접 유도된 지도학습을 통해 훈련된 에이전트의 정책은 보상 함수의 이동에 강건하며, 작업에 특화된 초모수 조정이 필요 없다.
• 성숙 과정을 통해 에이전트의 성능은 시간이 지남에 따라 향상되며, 초기 훈련이 국소 최적화에 치중되어 있어도 부모 정책을 초월한다.
• 성숙 과정에서 사용된 가치 함수 $ V_T $ 는 가치 반복과 유사한 방식으로 수렴하며, 장기적인 최적성 보장을 한다.
• Parenting를 통해 훈련된 정책는 새로운 환경으로의 일반화가 가능하여 다양한 작업 간 반복적인 인간 입력의 필요성을 줄였다.
• 직접 인간 피드백에서 정책을 학습함으로써 선호도 기반 보상 모델링의 모호성을 피하고 인간 선호도의 대칭성을 유지함으로써 프레임워크는 보다 안정적인 성능을 발휘한다.