[논문 리뷰] Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback

Duo Xu, Mohit Agarwal외 3명|arXiv (Cornell University)|2020. 06. 30.

EEG and Brain-Computer Interfaces참고 문헌 62인용 수 6

한 줄 요약

이 논문은 EEG 기반 오류 관련 전위(ErrPs)를 통한 암시적 인간 피드백을 통합하여 에이전트 학습을 가속화하는 새로운 딥 강화학습 프레임워크를 제안한다. 이는 새로운 환경에서도 재학습 없이도 ErrP 디코딩을 영구적으로 전이할 수 있도록 해주며, 뚜렷한 피드백 메커니즘(버튼 클릭 또는 음성 명령어 등)을 제거함으로써 인간의 인지 부담을 감소시킨다. 이 방법은 노이즈가 있는 인간 피드백에 저항하는 강력한 확률적 보상 형태 조정 메커니즘을 통해 레이블 효율성을 75.56% 향상시키고 학습 속도를 2.25배 빠르게 한다.

ABSTRACT

Providing Reinforcement Learning (RL) agents with human feedback can dramatically improve various aspects of learning. However, previous methods require human observer to give inputs explicitly (e.g., press buttons, voice interface), burdening the human in the loop of RL agent's learning process. Further, it is sometimes difficult or impossible to obtain the explicit human advise (feedback), e.g., autonomous driving, disabled rehabilitation, etc. In this work, we investigate capturing human's intrinsic reactions as implicit (and natural) feedback through EEG in the form of error-related potentials (ErrP), providing a natural and direct way for humans to improve the RL agent learning. As such, the human intelligence can be integrated via implicit feedback with RL algorithms to accelerate the learning of RL agent. We develop three reasonably complex 2D discrete navigational games to experimentally evaluate the overall performance of the proposed work. Major contributions of our work are as follows, (i) we propose and experimentally validate the zero-shot learning of ErrPs, where the ErrPs can be learned for one game, and transferred to other unseen games, (ii) we propose a novel RL framework for integrating implicit human feedbacks via ErrPs with RL agent, improving the label efficiency and robustness to human mistakes, and (iii) compared to prior works, we scale the application of ErrPs to reasonably complex environments, and demonstrate the significance of our approach for accelerated learning through real user experiments.

연구 동기 및 목표

• EEG를 통해 인간의 내재된 뇌 신호(ErrPs)를 캡처하여 강화학습에서 암시적이고 비침습적인 인간 피드백을 가능하게 한다.
• 버튼 클릭이나 음성 명령어와 같은 명시적 피드백 메커니즘을 제거함으로써 인간의 인지 부담을 감소시킨다.
• 각 새로운 환경에서 재학습이 필요 없이도 확장 가능하고 샘플 효율적인 RL 프레임워크를 개발한다.
• 정확도, 지연 시간, 사용자 편안함 측면에서 명시적 레이블링 대비 ErrP 기반 피드백의 타당성과 우수성을 검증한다.
• 확률적 보상 형태 조정 메커니즘을 통해 노이즈가 있는 인간 피드백에 대한 강건성을 입증한다.

제안 방법

• 프레임워크는 실시간으로 EEG 신호를 디코딩하여 오류 관련 전위(ErrPs)를 탐지한다. 이는 신호 전처리 및 ErrP 존재 여부에 대한 이진 분류의 두 단계 과정을 포함한다.
• 딥 Q넷(DQN)은 디코딩된 ErrPs로부터 유도된 보조 보상 함수로 보강되며, 이는 에이전트의 학습 신호를 형태 조정한다.
• 보조 보상은 인접한 상태 간의 벨먼 차이로 계산되며, 학습된 기준 함수 t(·)를 통해 상태 역학을 통합한다.
• 인간 피드백은 소프트 Q 정책으로 모델링되며, 상태에 따라 변하는 조합 계수 β(e) = 3e^(-e/80)가 환경적 보상과 인간 보상 간의 균형을 동적으로 조절한다.
• 5개의 헤드를 가진 부트스트랩 신경망은 상태 공간 전역에서 이진 ErrP 레이블을 일반화하여 일반화 능력과 강건성을 향상시킨다.
• ErrP 디코더를 한 환경에서 학습한 후, 재학습 없이도 새로운 게임에 직접 적용함으로써 영구 전이가 가능해진다.

실험 결과

연구 질문

• RQ1 EEG 기반 암시적 피드백을 통한 ErrPs는 복잡한 2D 탐색 환경에서 강화학습을 효과적으로 가속화할 수 있는가?
• RQ2 재학습 없이도 다른 환경 간에 ErrP 디코딩을 전이할 수 있는가, 영구 전이가 가능한가?
• RQ3 노이즈가 있거나 잘못된 인간 피드백 상황에서 제안된 강건한 보상 형태 조정 메커니즘이 어떻게 작동하는가?
• RQ4 암시적 EEG 피드백이 명시적 인간 레이블링 대비 정확도, 피드백 지연 시간, 사용자 편안함 측면에서 뛰어난가?
• RQ5 ErrP 피드백 통합으로 얼마나 많은 인간 쿼리가 줄어들 수 있으며, 학습 속도는 유지 또는 향상되는가?

주요 결과

• 제안된 프레임워크는 인간 피드백이 없는 기준 방법 대비 DRL 학습 속도를 2.25배 빠르게 한다.
• 효율적인 암시적 피드백 통합 덕분에 인간 쿼리 수를 75.56% 감소시킨다.
• 영구 전이가 실험적으로 검증되었다: 한 게임에서 학습된 디코더가 재학습 없이도 새로운 게임의 피드백을 성공적으로 디코딩한다.
• 노이즈가 많은 인간 피드백 상황에서도 강건한 보상 형태 조정 메커니즘이 두 참가자(02번 및 07번) 모두에서 단순 기준 방법보다 뛰어난 성능을 보였다.
• 기준 함수 t(·)는 수렴 속도와 안정성을 크게 향상시키며, 일부 경우에서 단순 방법을 능가했다.
• 상태에 따라 변하는 조합 계수 β(e)는 학습 안정성과 수렴 성능을 향상시켜 환경적 보상과 인간 보상 간 균형 조절의 핵심 역할을 한다고 입증되었다.