[논문 리뷰] DQN-TAMER: Human-in-the-Loop Reinforcement Learning with Intractable Feedback

Riku Arakawa, Sosuke Kobayashi외 3명|arXiv (Cornell University)|2018. 10. 28.

Reinforcement Learning in Robotics참고 문헌 23인용 수 48

한 줄 요약

DQN-TAMER는 Q-학습 브랜치와 TAMER 스타일의 인간 피드백 브랜치를 결합하여 현실적인 인간 피드백 조건(이진, 지연, 확률적, 지속 불가능성, 자연 반응)에서 더 빠르게 학습합니다. Maze와 Taxi에서 기준 알고리즘보다 우수하고, 실제 데모에서 암시적 얼굴 표정 피드백을 활용할 수 있습니다.

ABSTRACT

Exploration has been one of the greatest challenges in reinforcement learning (RL), which is a large obstacle in the application of RL to robotics. Even with state-of-the-art RL algorithms, building a well-learned agent often requires too many trials, mainly due to the difficulty of matching its actions with rewards in the distant future. A remedy for this is to train an agent with real-time feedback from a human observer who immediately gives rewards for some actions. This study tackles a series of challenges for introducing such a human-in-the-loop RL scheme. The first contribution of this work is our experiments with a precisely modeled human observer: binary, delay, stochasticity, unsustainability, and natural reaction. We also propose an RL method called DQN-TAMER, which efficiently uses both human feedback and distant rewards. We find that DQN-TAMER agents outperform their baselines in Maze and Taxi simulated environments. Furthermore, we demonstrate a real-world human-in-the-loop RL application where a camera automatically recognizes a user's facial expressions as feedback to the agent while the agent explores a maze.

연구 동기 및 목표

• 로봇 공학의 강화 학습을 장기 크레딧 할당 및 느린 보상 전달 문제로부터 촉진시키기.
• 이진, 지연, 확률적, 지속 불가능성 및 자연 반응을 포함한 현실적인 인간-루프 피드백 모델링.
• 즉각적인 인간 피드백과 멀리 떨어진 환경 보상을 효과적으로 융합하여 학습 속도를 높이는 알고리즘 개발.
• 시뮬레이션 및 실제 카메라 기반 얼굴 표정 피드백 시스템에서 방법의 견고성 시연.

제안 방법

• 두 가지 가치 함수를 도입: 환경 보상에 대한 Q와 인간 피드백에 대한 H.
• 결합 정책을 pi(s) = argmax_a [ alpha_q * Q_hat(s,a) + alpha_h * H_hat(s,a) ]로 정의하되, alpha_h는 시간이 지남에 따라 0으로 감소합니다.
• 보상 L(H_hat)를 이용한 이진 피드백 학습을 위한 보조 TAMER 유사 모듈로 DQN 확장 및 에피소드/로컬/전역 재플레이 버퍼를 사용한 학습.
• 지연, 확률적 피드백 및 잠재적으로 불완전한 피드백을 허용하고, 피드백 중단(지속 불가능성) 및 자연 반응 오류에 대한 강인성 입증.
• 얼굴 표정이 암시적 피드백을 생성하고 이를 DQN-TAMER에 통합하기 위해 실시간 시스템에서 분류 작동.

실험 결과

연구 질문

• RQ1 인간 피드백이 이진, 지연, 확률적이며 수렴 전에 중단될 때 DQN-TAMER의 성능은 어떠한가?
• RQ2 즉시 인간 피드백과 먼 거리의 환경 보상을 효과적으로 결합하여 학습 속도를 높일 수 있는가?
• RQ3 암시적 피드백(예: 얼굴 표정 분류기)의 인식 오류에 방법은 강인한가?
• RQ4 시뮬레이션 피드백을 넘어 실제 세계의 인간-루프 시나리오에 이 접근법이 확장될 수 있는가?

주요 결과

• DQN-TAMER는 Maze 및 Taxi 과제에서 보상 형성 및 Deep TAMER보다 학습 속도가 빠르고 성능이 우수합니다.
• 지연, 확률성 및 피드백 지속 불가능성에 대해 강인하며, 기본 알고리즘이 성능이 떨어지는 구간에서도 우수한 성능을 유지합니다.
• 인간 피드백의 초기 가이던스가 탐색을 가속하고, alpha_h를 감소시켜 분리되면 환경 보상이 지배적이 됩니다.
• 실세계 데모에서 행복/부정으로 표정 피드백을 사용하는 자동차 로봇은 분류기 오차(~15% 오분류)에도 미로 탐색을 학습합니다.
• 이 접근법은 TAMER와 DQN을 일반화하여, alpha_h가 0일 때는 DQN으로, alpha_q가 0일 때는 Deep TAMER로 작동합니다.