[논문 리뷰] Agent-Agnostic Human-in-the-Loop Reinforcement Learning

David Abel, John Salvatier외 2명|arXiv (Cornell University)|2017. 01. 15.

Reinforcement Learning in Robotics참고 문헌 37인용 수 22

한 줄 요약

이 논문은 인간이 개입하는 강화학습를 위한 새로운 에이전트 독립적 프레임워크인 프로토콜 프로그램을 소개한다. 이는 에이전트의 내부 학습 알고리즘에 대한 지식 없이도 인간의 지도를 가능하게 하며, 상태, 행동, 보상 채널에 대한 프로그래머블 제어를 통해 행동 정제와 보상 형태 조정을 효과적으로 지원한다. 다양한 강화학습 에이전트에서 샘플 효율성과 안전성을 크게 향상시키며, 특히 그리드월드와 택시 환경에서 정제 기법을 사용할 경우 R-max가 더 적은 에피소드 수로 거의 최적의 성능을 달성한다.

ABSTRACT

Providing Reinforcement Learning agents with expert advice can dramatically improve various aspects of learning. Prior work has developed teaching protocols that enable agents to learn efficiently in complex environments; many of these methods tailor the teacher's guidance to agents with a particular representation or underlying learning scheme, offering effective but specialized teaching procedures. In this work, we explore protocol programs, an agent-agnostic schema for Human-in-the-Loop Reinforcement Learning. Our goal is to incorporate the beneficial properties of a human teacher into Reinforcement Learning without making strong assumptions about the inner workings of the agent. We show how to represent existing approaches such as action pruning, reward shaping, and training in simulation as special cases of our schema and conduct preliminary experiments on simple domains.

연구 동기 및 목표

• 에이전트의 학습 알고리즘 또는 표현 방식에 대한 가정 없이 인간-입력 기반 강화학습를 위한 일반적이고 에이전트 독립적인 프레임워크를 개발하는 것.
• 행동 정제, 보상 형태 조정, 상태 조작과 같은 인간의 지도를 프로그래머블 개입으로서 정형화하여 어떤 강화학습 에이전트에도 적용 가능한 방법을 제시하는 것.
• 이러한 프로토콜 프로그램이 에이전트에 특화된 적응 없이도 학습 속도를 가속화하고 치명적인 결과를 방지할 수 있음을 입증하는 것.
• 모듈러하고 프로그래머블 인터페이스를 통해 강화학습에서 교사의 효과성의 이론적 및 실용적 경계를 탐색하는 것.
• 다양한 강화학습 알고리즘과 환경에 적용 가능한 동적이고 인간이 지도하는 교육 프로토콜의 기초를 마련하는 것.

제안 방법

• 이 프레임워크는 '프로토콜 프로그램'—사용자가 정의한 프로그램으로, 에이전트, 환경, 인간 간의 상호작용을 중개하며 상태 전이, 행동 가능성, 보상 신호를 제어한다.
• 프로토콜 프로그램은 하위최적 또는 위험한 행동을 차단함으로써 행동 정제를 가능하게 하며, 예를 들어 MountainCar 도메인에서 고속 이동을 차단하고, 작은 페널티를 주며 현재 상태로 복귀시킨다.
• 인간이 제공한 규칙에 따라 보상 신호를 수정함으로써 보상 형태 조정을 지원한다. 예를 들어 택시가 목적지에 도달하지 않은 상태에서 내림을 방지하기 위해 보상에 페널티를 적용한다.
• 에이전트의 관측 또는 상태 표현 방식을 변경함으로써 상태 조작을 가능하게 하며, 불필요한 특징을 가림하거나 차원을 감소시킬 수 있다.
• 이 접근은 상태를 완전히 관측할 수 있는 MDP 설정 내에서 정형화되며, 상태 관측 가능성이 보장되고 인간의 지도가 사전에 프로그래밍되어 있다고 가정한다.
• 실험은 두 가지 환경에서 수행되었으며, MountainCar(고속 행동 방지), Taxi(목적지에 도달하지 않은 상태에서 내림 행동 정제)에서 Q-러닝 및 R-max 에이전트를 사용하였다.

실험 결과

연구 질문

• RQ1 사용자가 에이전트의 학습 알고리즘 또는 표현 방식에 대한 사전 지식 없이도 어떤 강화학습 에이전트에게도 효과적인 지도를 제공할 수 있는가?
• RQ2 행동 정제, 보상 형태 조정, 상태 조작과 같은 인간의 간섭 방식은 어떻게 다양한 강화학습 에이전트에 균일하게 인코딩하고 적용할 수 있는가?
• RQ3 에이전트에 특화된 지도 방법에 비해 에이전트 독립적 프로토콜 프로그래밍은 학습 속도와 안전성 측면에서 어떻게 비교되는가?
• RQ4 프로토콜 프로그램은 복잡한 MDP에서 치명적인 행동을 방지하면서도 샘플 효율성을 유지하거나 향상시킬 수 있는가?
• RQ5 비최적 행동을 신뢰성 있게 정제할 수 있는 이론적 조건은 무엇인가? 이는 학습 성능에 해를 끼치지 않는 조건이다.

주요 결과

• MountainCar 도메인에서 프로토콜 프로그램을 통한 행동 정제를 적용한 에이전트는 400,000번의 행동 동안 약 5배 높은 누적 수익을 기록했으며, 일부 일치하지 않는 상태 전이가 관측됨에도 불구하고 그렇지 않은 에이전트보다 유의미하게 뛰어난 성능을 보였다.
• 정제된 에이전트는 더 빠르게 거의 최적의 성능에 도달했으며, 초기 학습 단계에서 큰 성능 격차가 나타났고, 이 격차는 비정제된 에이전트가 고속 이동을 피하는 법을 배우면서 점차 줄어들었다.
• Taxi 환경에서는 행동 정제로 유효하지 않은 내림 행동을 제거함으로써 유효 상태 공간이 줄어들었고, 이로 인해 Q-러닝 및 R-max 에이전트 모두 더 빠른 수렴과 향상된 누적 수익을 기록했다.
• 모델 기반 알고리즘인 R-max는 프로토콜에 의해 지도받는 경우 소수의 에피소드 내에 거의 최적의 성능을 달성했으며, 정제로 인한 빠른 가속화를 입증했다.
• 프로토콜 프로그램 접근은 보상 형태 조정과 행동 정제의 이점을 특수 케이스로 효과적으로 포괄했으며, 에이전트의 내부 코드나 학습 메커니즘에 대한 액세스 없이도 가능했다.
• 결과적으로 에이전트 독립적 프로토콜은 효과적이며 확장 가능하며, 다양한 강화학습 알고리즘 간에 모듈러하고 재사용 가능한 지도 전략을 가능하게 한다.