[논문 리뷰] Recurrent Reinforcement Learning: A Hybrid Approach

Xiujun Li, Lihong Li외 5명|arXiv (Cornell University)|2015. 09. 10.

Reinforcement Learning in Robotics참고 문헌 27인용 수 48

한 줄 요약

이 논문은 부분 관측 환경에서 상태 표현을 위해 순환 신경망(RNN)/LSTM을 활용한 지도학습과 정책 최적화를 위해 딥 Q네트워크(DQN)를 결합한 하이브리드 딥 강화학습 프레임워크를 제안한다. RNN/LSTM과 DQN의 공동 학습은 단독으로 사용되는 지도학습 또는 강화학습 모델보다 유의미하게 뛰어난 성능을 보이며, 장기적 의존성 모델링이 필요한 CRM 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Successful applications of reinforcement learning in real-world problems often require dealing with partially observable states. It is in general very challenging to construct and infer hidden states as they often depend on the agent's entire interaction history and may require substantial domain knowledge. In this work, we investigate a deep-learning approach to learning the representation of states in partially observable tasks, with minimal prior knowledge of the domain. In particular, we propose a new family of hybrid models that combines the strength of both supervised learning (SL) and reinforcement learning (RL), trained in a joint fashion: The SL component can be a recurrent neural networks (RNN) or its long short-term memory (LSTM) version, which is equipped with the desired property of being able to capture long-term dependency on history, thus providing an effective way of learning the representation of hidden states. The RL component is a deep Q-network (DQN) that learns to optimize the control for maximizing long-term rewards. Extensive experiments in a direct mailing campaign problem demonstrate the effectiveness and advantages of the proposed approach, which performs the best among a set of previous state-of-the-art methods.

연구 동기 및 목표

• 완전한 상태 정보가 확보되지 않는 실세계 강화학습 과제에서 부분 관측 문제를 해결하고, 이는 과거 이력으로부터 상태를 추론해야 함을 의미한다.
• 숨겨진 상태 설계에 광범위한 영역 지식이 필요한 전통적인 POMDP의 한계를 극복한다.
• 딥 러닝을 활용해 최소한의 사전 지식으로 순차적 상호작용 이력으로부터 숨겨진 상태를 자동으로 추론한다.
• 지도학습을 통한 표현 학습 신호와 강화학습을 통한 정책 최적화를 융합하여 비마르코프 환경에서 장기적 보상 최적화를 향상시킨다.
• 수명가치 최대화를 목표로 하는 실세계 CRM 응용 분야에서 RNN/LSTM과 DQN의 공동 학습이 효과가 있음을 입증한다.

제안 방법

• 순차적 상호작용 이력으로부터 숨겨진 상태를 추론하기 위해 순환 신경망(RNN) 또는 장기 기억 임계값 신경망(LSTM)을 지도학습 구성요소로 사용한다.
• 과거 데이터로부터 다음 관측값과 보상과 같은 지도학습 신호를 사용해 RNN/LSTM을 학습시켜 압축되고 맥락 인식이 가능한 상태 표현을 학습한다.
• 유추된 숨겨진 상태를 딥 Q네트워크(DQN)에 입력하여 할인 누적 보상을 최대화하는 최적의 행동 정책을 학습한다.
• 확률적 경사 하강법(SGD)을 통해 RNN/LSTM과 DQN 구성요소를 공동 최적화함으로써 상태 표현과 제어 정책의 엔드 투 엔드 학습을 가능하게 한다.
• 모델 성능 평가를 위해 장기적 의존성을 명시적으로 포함한 합성 데이터를 생성하는 시뮬레이션 환경(RNN 시뮬레이터)을 활용한다.
• 공동 학습과 별도 학습(분리된 RNN 및 DQN 학습)을 비교함으로써 결합 최적화의 이점을 검증한다.

실험 결과

연구 질문

• RQ1 지도학습(상태 표현용)과 강화학습(정책 학습용)을 융합한 하이브리드 모델이 부분 관측 과제에서 단독 지도학습 또는 강화학습 모델보다 뛰어난 성능을 내는가?
• RQ2 장기적 의존성을 포괄하는 데 있어 RNN/LSTM을 통한 숨겨진 상태 추론 방식이 맥락 윈도우 기반 방법보다 얼마나 우월한가?
• RQ3 RNN/LSTM과 DQN의 공동 학습 방식이 별도 학습 방식에 비해 정책 성능에 어떤 영향을 미치는가?
• RQ4 저탐색 환경에서 탐색 정책(예: 탐색 중심 대비 결정론적 정책)의 선택이 강화학습 모델의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 하이브리드 프레임워크에서 다양한 데이터 크기 변화에 따라 모델 성능이 어떻게 변화하는가?

주요 결과

• 제안된 하이브리드 모델(RL+LSTM)은 DQN, DNN, SL 전용 모델을 포함한 모든 베이스라인 모델보다 CRM 벤치마크에서 누적 보상 최대화에 있어 뚜렷한 승리를 거두었다.
• RL+LSTM은 누적 보상 9.37을 기록했으며, 이는 다음으로 뛰어난 모델인 RL-RNN(8.92)보다 유의미하게 높은 성능을 보여, LSTM이 장기적 의존성을 잘 포착한다는 것을 입증한다.
• RNN/LSTM과 DQN의 공동 학습은 별도 학습보다 더 뛰어난 성능을 내며, 후자는 학습된 표현의 품질과 DQN의 학습 목표 간의 일치를 확보하기 어려운 점을 보여준다.
• 탐색이 풍부한 데이터 수집 정책(U 및 M)을 사용해 학습한 모델은 일관되게 뛰어난 성능을 보였고, 결정론적 정책(R)을 사용할 경우 성능이 급격히 떨어져 강화학습이 낮은 탐색 환경에 민감함을 확인했다.
• 50K에서 500K 샘플까지 다양한 데이터 크기에서도 하이브리드 모델은 일관된 성능 향상을 유지하며, 데이터 효율성과 강건성을 보였다.
• 장기적 의존성 모델링이 필요한 과제에서 하이브리드 접근 방식의 우월성이 가장 뚜렷했으며, 맥락 윈도우 기반 DQN는 메모리 용량 제한으로 인해 실패함을 확인했다.