[논문 리뷰] Human AI interaction loop training: New approach for interactive reinforcement learning

Néda Navidi|arXiv (Cornell University)|2020. 03. 09.

Reinforcement Learning in Robotics참고 문헌 25인용 수 5

한 줄 요약

이 논문은 연속 제어 환경인 Cart-Pole 및 Mountain Car에서 샘플 효율성을 향상시키고 학습 속도를 가속화하기 위해, Imitation Learning(ILD)과 Reinforcement Learning(RL)을 결합한 하이브리드 인간/AI 상호작용 루프 훈련 프레임워크를 제안한다. SARSA 및 A3C 알고리즘을 사용하여 실시간 직접(이진 보상) 및 간접(시연 기반) 피드백을 인간 교사로부터 확보함으로써 탐색 부담을 줄이고, 단독 RL 대비 53.8–85.7% 높은 데이터 효율성을 달성한다.

ABSTRACT

Reinforcement Learning (RL) in various decision-making tasks of machine learning provides effective results with an agent learning from a stand-alone reward function. However, it presents unique challenges with large amounts of environment states and action spaces, as well as in the determination of rewards. This complexity, coming from high dimensionality and continuousness of the environments considered herein, calls for a large number of learning trials to learn about the environment through Reinforcement Learning. Imitation Learning (IL) offers a promising solution for those challenges using a teacher. In IL, the learning process can take advantage of human-sourced assistance and/or control over the agent and environment. A human teacher and an agent learner are considered in this study. The teacher takes part in the agent training towards dealing with the environment, tackling a specific objective, and achieving a predefined goal. Within that paradigm, however, existing IL approaches have the drawback of expecting extensive demonstration information in long-horizon problems. This paper proposes a novel approach combining IL with different types of RL methods, namely state action reward state action (SARSA) and asynchronous advantage actor-critic (A3C) agents, to overcome the problems of both stand-alone systems. It is addressed how to effectively leverage the teacher feedback, be it direct binary or indirect detailed for the agent learner to learn sequential decision-making policies. The results of this study on various OpenAI Gym environments show that this algorithmic method can be incorporated with different combinations, significantly decreases both human endeavor and tedious exploration process.

연구 동기 및 목표

• 연속적이고 고차원적인 RL 환경에서의 높은 샘플 복잡성과 보상 희박성 문제를 해결한다.
• 단독 RL 및 전통적 IL 방법의 한계, 특히 광범위한 시연가 필요한 장기 이르기 작업에서의 한계를 극복한다.
• 직접 이진 보상과 간접적 행동 시연을 포함한 인간 교사의 피드백을 실시간 온라인 피드백 루프에 통합한다.
• 하이브리드 RL-IL 훈련을 통해 순차적 의사결정 작업에서 샘플 효율성과 수렴 속도를 향상시킨다.
• 에이전트가 보상 신호와 교사 가이드에 기반한 행동 클로닝을 통해 동시에 학습하는 협업적이고 적응형 프레임워크를 개발한다.

제안 방법

• 정책 기반(A3C) 및 보상 기반(SARSA) RL을 온라인 행동 모방 학습과 융합한 하이브리드 RL-IL 아키텍처를 설계한다.
• 실시간 인간 입력을 처리하기 위한 피드백 관리 모듈을 구현하며, 이는 이진 보상(긍정/부정)과 행동 시연를 포함한다.
• 오프라인 행동 클로닝 대비 분포 이탈을 줄이기 위해 온라인 IL을 사용해 에이전트 정책을 점진적으로 업데이트한다.
• 에이전트의 각 행동 이후 교사 피드백을 통합하여 즉각적인 정책 수정과 동적 적응을 가능하게 한다.
• OpenAI Gym의 연속 제어 환경에 하이브리드 프레임워크를 적용하며, 보상 형상화와 시연 기반 모방 학습을 모두 활용한다.
• 이종 이점 액터-크리틱(A3C)과 SARSA를 공동 최적화 기반으로 사용하여, IL이 탐색을 안내하고 RL이 정책을 정밀화하도록 한다.

실험 결과

연구 질문

• RQ1 실시간으로 인간 피드백을 통합함으로써 연속 RL 환경에서 요구되는 학습 시도 수를 상당히 줄일 수 있는가?
• RQ2 A3C와 SARSA와 같은 정책 기반 및 보상 기반 RL 방법과 IL을 융합할 경우 샘플 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 직접 피드백(이진 보상)과 간접 피드백(행동 시연)을 모두 사용할 경우, 단독 RL 또는 IL 대비 정책 학습에 얼마나 더 큰 기여를 하는가?
• RQ4 Cart-Pole 및 Mountain Car와 같은 장기 이르기, 고차원 제어 작업에서 하이브리드 IL-RL 프레임워크는 어떻게 성능을 발휘하는가?
• RQ5 데이터 효율성과 안정성 측면에서 IL과 융합했을 때 A3C와 SARSA의 상대적 영향은 어떠한가?

주요 결과

• Hybrid A3C/IL은 Cart-Pole 환경에서 단독 SARSA 대비 85.7% 높은 데이터 효율성을 달성했다.
• Cart-Pole 환경에서 Hybrid A3C/IL은 단독 A3C 대비 53.8% 높은 데이터 효율성과 Hybrid SARSA/IL 대비 14.2% 높은 데이터 효율성을 확보했다.
• 더 복잡한 Mountain Car 환경에서는 Hybrid A3C/IL이 단독 SARSA 대비 약 60% 높은 데이터 효율성을 보였다.
• Hybrid A3C/IL은 더 빠른 수렴을 보였으며, Cart-Pole에서 에피소드 #70에 안정된 성능에 도달했다. 이는 단독 A3C 및 SARSA를 모두 초월했다.
• Hybrid SARSA/IL는 Mountain Car에서 안정화되기까지 약 20번째 에피소드까지 심한 진동을 보였으며, 이는 IL 통합 시 보상 기반 방법에서의 불안정성을 시사한다.
• Mountain Car 환경에서 IL을 A3C에 통합함으로써 단독 A3C 대비 데이터 효율성에서 33.4% 향상된 성과를 기록했다.