[논문 리뷰] Human-in-the-Loop Methods for Data-Driven and Reinforcement Learning Systems

Vinicius G. Goecks|arXiv (Cornell University)|2020. 08. 30.

Reinforcement Learning in Robotics참고 문헌 169인용 수 4

한 줄 요약

이 논문은 로봇 공학 분야에서 샘플 효율성과 실시간 적응 능력을 향상시키기 위해 인간의 시연, 간섭, 평가를 액터-크리틱 강화학습에 통합하는 인간-중심 루프 프레임워크인 Cycle-of-Learning을 제안한다. 인간 피드백을 반복적으로 학습 루프에 통합함으로써 수렴 속도를 가속화하고, 기준 모델 대비 인간 샘플당 작업 완료율을 1.84배 높였다. 이는 UAS 및 LunarLander 작업에서 행동 복제와 DAPG를 초월한다.

ABSTRACT

Recent successes combine reinforcement learning algorithms and deep neural networks, despite reinforcement learning not being widely applied to robotics and real world scenarios. This can be attributed to the fact that current state-of-the-art, end-to-end reinforcement learning approaches still require thousands or millions of data samples to converge to a satisfactory policy and are subject to catastrophic failures during training. Conversely, in real world scenarios and after just a few data samples, humans are able to either provide demonstrations of the task, intervene to prevent catastrophic actions, or simply evaluate if the policy is performing correctly. This research investigates how to integrate these human interaction modalities to the reinforcement learning loop, increasing sample efficiency and enabling real-time reinforcement learning in robotics and real world scenarios. This novel theoretical foundation is called Cycle-of-Learning, a reference to how different human interaction modalities, namely, task demonstration, intervention, and evaluation, are cycled and combined to reinforcement learning algorithms. Results presented in this work show that the reward signal that is learned based upon human interaction accelerates the rate of learning of reinforcement learning algorithms and that learning from a combination of human demonstrations and interventions is faster and more sample efficient when compared to traditional supervised learning algorithms. Finally, Cycle-of-Learning develops an effective transition between policies learned using human demonstrations and interventions to reinforcement learning. The theoretical foundation developed by this research opens new research paths to human-agent teaming scenarios where autonomous agents are able to learn from human teammates and adapt to mission performance metrics in real-time and in real world scenarios.

연구 동기 및 목표

• 실세계 로봇 공학을 위한 엔드 투 엔드 강화학습에서 낮은 샘플 효율성과 치명적인 실패 위험을 해결하기 위해.
• 시연, 간섭, 평가와 같은 인간 상호작용 모odalities를 강화학습 루프에 직접 통합하기 위해.
• 고정밀 시뮬레이션 및 실제 환경에서 실시간으로 데이터 효율적인 정책 학습을 가능하게 하기 위해.
• 액터-크리틱 아키텍처에서 인간 피드백, 함수 근사, 보상 형상화를 통합하는 이론적 프레임워크를 개발하기 위해.
• 연속 제어 작업 및 무인 항공 시스템에서 표준 강화학습 및 이민 학습 대비 뛰어난 성능을 입증하기 위해.

제안 방법

• Cycle-of-Learning 프레임워크는 가치 함수 및 행동 함수의 함수 근사를 사용하여 인간의 시연, 간섭, 평가를 액터-크리틱 아키텍처에 통합한다.
• 인간 피드백은 역강화학습과 생성 모델링을 통해 보상 신호를 형상화하는 데 사용되어 정책 학습 효율성을 향상시킨다.
• 경험 재생은 전문가의 시연와 에이전트가 생성한 경험을 모두 포함하며, 손실 구성 요소에 기반한 동적 가중치를 적용한다.
• 이 방법은 인간 입력이 학습 과정에 지속적으로 피드백되어 정책을 반복적으로 개선하는 닫힌 루프 상호작용 사이클을 구현한다.
• 행동 복제를 사용한 사전 훈련 단계로 정책를 초기화한 후, 인간-중심 수정을 통한 강화학습을 통한 최적화 단계를 거친다.
• 실시간 하드웨어 배포를 가능하게 하기 위해 신경망 아키텍처를 신경망 아키텍처 탐색 및 압축 기법을 사용해 최적화한다.

실험 결과

연구 질문

• RQ1 인간의 시연, 간섭, 평가를 어떻게 체계적으로 강화학습 루프에 통합하여 샘플 효율성을 향상시킬 수 있는가?
• RQ2 여러 모달리티의 인간 피드백을 통합하면 고립된 피드백 유형보다 더 빠른 수렴과 향상된 성능를 달성할 수 있는가?
• RQ3 보상 형상화를 넘어서 강화학습 파이프라인의 모든 구성 요소에 인간의 사전 지식을 통합하면 측정 가능한 성능 향상이 이루어지는가?
• RQ4 Cycle-of-Learning 프레임워크는 전통적인 행동 복제 및 엔드 투 엔드 강화학습 대비 데이터 효율성과 최종 정책 성능에서 어떻게 비교되는가?
• RQ5 인간-중심 학습이 고정밀 로봇 환경에서 실시간 적응과 배포를 얼마나 잘 가능하게 하는가?

주요 결과

• LunarLanderContinuous-v2에서 Cycle-of-Learning 방법은 행동 복제 대비 636% 높은 성능를 기록했으며, DAPG 대비 104% 향상되었고, DDPG 대비 71% 향상되었다.
• Microsoft AirSim UAS 환경에서 이 방법은 DAPG 대비 161% 높은 初기 성능를 보였고, 행동 복제 대비 297% 높았다.
• 시연와 간섭의 조합으로부터 학습할 경우, 인간 샘플을 32.1% (±3.2% 표준편차) 줄였음에도 불구하고 작업 완료율이 12.8% (±3.6% 표준편차) 향상되었다.
• 결과 정책는 기준 모델 대비 인간 샘플당 작업 완료율이 1.84배 높아, 뛰어난 데이터 효율성을 입증했다.
• 성분 분석을 통해 사전 훈련, 손실 가중치, 하이브리드 경험 재생이 성능 향상의 핵심 요소임을 확인했으며, 단순히 이민 학습과 강화학습을 순차적으로 적용하는 것만으로는 성능 향상이 이루어지지 않았다.
• 에이전트는 역강화학습과 생성 모델을 사용해 단지 100회의 학습 반복 후에 인간 평균 성능를 초월하는 UAS 착륙 작업을 수행하는 데 성공했다.