[논문 리뷰] Trial without Error: Towards Safe Reinforcement Learning via Human Intervention

William S. Saunders, Girish Sastry외 2명|arXiv (Cornell University)|2017. 07. 17.

Reinforcement Learning in Robotics참고 문헌 17인용 수 110

한 줄 요약

논문은 HIRL(Human Intervention RL)을 형식화하여 훈련 중 재앙을 방지하고, 인간 차단기가 안전한 행동을 모방하도록 하고, 차단기가 인수하도록 학습하며, Atari 게임에서 확장성을 평가한다. Pong/Space Invaders에서 재앙 0, Road Runner에서 부분적 성공을 보였으며, 확장성 문제에 대해 논의한다.

ABSTRACT

AI systems are increasingly applied to complex tasks that involve interaction with humans. During training, such systems are potentially dangerous, as they haven't yet learned to avoid actions that could cause serious harm. How can an AI system explore and learn without making a single mistake that harms humans or otherwise causes serious damage? For model-free reinforcement learning, having a human "in the loop" and ready to intervene is currently the only way to prevent all catastrophes. We formalize human intervention for RL and show how to reduce the human labor required by training a supervised learner to imitate the human's intervention decisions. We evaluate this scheme on Atari games, with a Deep RL agent being overseen by a human for four hours. When the class of catastrophes is simple, we are able to prevent all catastrophes without affecting the agent's learning (whereas an RL baseline fails due to catastrophic forgetting). However, this scheme is less successful when catastrophes are more complex: it reduces but does not eliminate catastrophes and the supervised learner fails on adversarial examples found by the agent. Extrapolating to more challenging environments, we show that our implementation would not scale (due to the infeasible amount of human labor required). We outline extensions of the scheme that are necessary if we are to train model-free agents without a single catastrophe.

연구 동기 및 목표

• 모델 프리 RL에 대한 인간 감독의 안전 프레임워크를 정의하여 훈련 중 재앙을 방지한다.
• HIRL 제안: 차단기가 인간의 차단 결정을 모방하도록 학습하여 안전하지 않은 행동을 대체하는 인간-루프 체계.
• Atari 게임에서 HIRL를 평가하여 에이전트 간 안전 성능 및 학습 효율성을 확인한다.
• 확장성 문제를 강조하고 가능한 한 제로-재앙 안전을 유지하면서 인간 노동을 줄이는 전략을 개요로 한다.

제안 방법

• MDP로 RL 모델을 구성하고 인간 감독 단계를 도입하여 인간이 재앙적 행동을 차단하고 안전한 행동으로 대체한다.
• 상태-행동 데이터를 수집하고 인간이 차단했는지에 대한 라벨을 달아 차단 결정을 모방하는 차단기 분류기를 학습시킨다.
• 차단기가 held-out 성능에 도달하면 인간을 은퇴시키고 차단기에게 감독을 맡긴다; 차단기는 행동 교체도 처리한다.
• 원시 Atari 프레임으로 학습된 CNN 기반 차단기를 사용하여 재앙에 대한 거짓 음성음(false-negative) 비율을 낮추기 위해 학습한다.
• 보상 형성(Reward Shaping)과 재앙에 대한 큰 음수 페널티를 도입한 기준과 비교하여 차단 없이 학습하는 방법을 평가한다.
• 분포 전이 및 적대적 예제에 대한 강건성을 분석하고 데이터 효율성 및 인간 시간 비용을 논의한다.

실험 결과

연구 질문

• RQ1 RL 훈련 중 간단하고 복잡한 재앙 클래스 전체에서 인간 개입으로 모든 재앙적 행동을 방지할 수 있는가?
• RQ2 학습된 차단기가 인간 개입을 얼마나 잘 모방하고 서로 다른 RL 에이전트 및 환경에 걸쳐 확장될 수 있는가?
• RQ3 더 복잡한 작업에 HIRL를 적용할 때 인간 시간 비용과 확장성 한계는 무엇인가?
• RQ4 제로-재앙 학습을 유지하면서 인간 노동을 줄이기 위해 어떤 확장이 필요하가?

주요 결과

• HIRL은 Pong과 Space Invaders에서 재앙이 0으로 달성했고, Road Runner에서는 재앙을 50배 감소시키는 등 줄었지만 제거되지는 못했다.
• 차단기가 에이전트 및 아키텍처 간에 전이되며 Pong에서 학습을 방해하지 않고 재앙을 차단한다.
• 큰 음수 페널티를 갖는 보상 형성은 재앙을 모두 방지하지 못했다. 이는 재앙적 망각과 적대적 이용 때문일 수 있다.
• 현 시점의 HIRL 구성은 더 길고 복잡한 작업에 대해 인간 시간 비용이 높아 비효율적일 가능성이 있다.
• 차단기의 강건성은 적대적 에이전트에 의해 악화될 수 있어 데이터 효율성과 적극적 학습 전략이 필요하다.
• Pong에서는 재앙을 국지적으로 피할 수 있지만 비 국소 재앙은 차단만으로의 한계를 드러낸다.