[논문 리뷰] Memory-based Deep Reinforcement Learning for POMDP.

Lingheng Meng, Rob Gorbet외 1명|arXiv (Cornell University)|2021. 02. 24.

Reinforcement Learning in Robotics참고 문헌 36인용 수 7

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)을 다룰 수 있도록 기존의 투너 드리프트 딥 디터미니스틱 풀러지 기반 알고리즘(TD3)에 장기 기억 단기 기억(LSTM) 유닛을 통합한 메모리 증강 딥 강화 학습 알고리즘인 LSTM-TD3를 제안한다. 순차적 기억을 활용해 시간적 의존성을 모델링함으로써, 노이즈가 많거나 관찰 정보가 불완전한 환경에서도 성능을 크게 향상시켰으며, MDP 및 POMDP 환경 모두에서 표준 DRL 알고리즘보다 뛰어난 성능을 보였다.

ABSTRACT

A promising characteristic of Deep Reinforcement Learning (DRL) is its capability to learn optimal policy in an end-to-end manner without relying on feature engineering. However, most approaches assume a fully observable state space, i.e. fully observable Markov Decision Process (MDP). In real-world robotics, this assumption is unpractical, because of the sensor issues such as sensors' capacity limitation and sensor noise, and the lack of knowledge about if the observation design is complete or not. These scenarios lead to Partially Observable MDP (POMDP) and need special treatment. In this paper, we propose Long-Short-Term-Memory-based Twin Delayed Deep Deterministic Policy Gradient (LSTM-TD3) by introducing a memory component to TD3, and compare its performance with other DRL algorithms in both MDPs and POMDPs. Our results demonstrate the significant advantages of the memory component in addressing POMDPs, including the ability to handle missing and noisy observation data.

연구 동기 및 목표

• 센서 노이즈와 자원 제약로 인해 현실적인 로봇 공학 환경에서 상태가 완전히 관찰 가능하다는 가정이 불가능한 표준 딥 강화 학습(DRL) 방법의 한계를 해결한다.
• 관찰 정보가 불완전하거나 손상된 부분 관찰 가능한 마르코프 결정 과정(POMDP) 환경에서 효과적인 정책 학습이 가능한 DRL 알고리즘을 개발한다.
• TD3 알고리즘에 메모리 메커니즘을 통합하여 시간적 의존성을 모델링하고, 부분 관찰 조건 하에서의 의사결정 능력을 향상시킨다.
• 제안된 방법의 강인성과 성능을 표준 DRL 알고리즘과 비교하여 완전 관찰 가능한(MDP) 및 부분 관찰 가능한(POMDP) 환경에서 평가한다.

제안 방법

• 장기 기억 단기 기억(LSTM) 유닛을 투너 드리프트 딥 디터미니스틱 풀러지(TD3) 알고리즘에 통합하여 순차적 관찰에서 장기적 의존성을 유지할 수 있는 은닉 상태를 유지한다.
• LSTM 셀을 사용해 관찰 시퀀스를 처리함으로써, 숨겨진 상태 정보를 추론하고 누락되거나 노이즈가 있는 관찰을 보완할 수 있도록 한다.
• 경험 재생과 타겟 네트워크 업데이트를 활용해 학습을 안정화시키며, 표준 DRL 손실 함수를 사용해 LSTM-TD3 에이전트를 엔드 투 엔드로 훈련시킨다.
• LSTM의 은닉 상태를 정책 및 Q-네트워크 입력에 통합함으로써, 네트워크가 이전 관찰 시퀀스에 기반한 의사결정을 내릴 수 있도록 한다.
• 일반화 능력과 부분 관찰 조건 하에서의 강인성을 평가하기 위해 MDP 및 POMDP 벤치마크에 이 방법을 적용한다.
• 모든 환경에서 동일한 초모델 하이퍼파rameter와 훈련 설정을 사용해 표준 DRL 알고리즘과의 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 TD3에 LSTM 메모리 구성 요소를 통합함으로써, 표준 DRL 알고리즘과 비교해 부분 관찰 가능한 환경에서 성능 향상이 이루어지는가?
• RQ2 LSTM-TD3는 POMDP 환경에서 노이즈가 많거나 정보가 불완전한 관찰을 어떻게 처리하며, 이러한 조건 하에서도 안정적인 학습을 유지하는가?
• RQ3 메모리 증강 기반 접근법은 MDP 및 POMDP 환경 모두에서 잘 일반화되는가?
• RQ4 기본 DRL 방법과 비교해 LSTM-TD3는 샘플 효율성과 최종 성능 측면에서 어느 정도 향상되는가?

주요 결과

• LSTM-TD3는 POMDP 환경에서 뚜렷한 성능 향상을 보이며, 시간적 메모리 모델링을 통해 누락되거나 노이즈가 있는 관찰을 효과적으로 처리한다.
• 메모리 구성 요소 덕분에 관찰 정보가 불완전하거나 손상된 경우에도 에이전트가 일관된 정책 성능을 유지할 수 있다.
• LSTM-TD3는 MDP 및 POMDP 벤치마크에서 표준 TD3 및 다른 기초 DRL 알고리즘보다 뛰어난 성능을 보이며, 샘플 효율성과 최종 수익률 향상이 뚜렷하다.
• 결과는 딥 디터미니스틱 풀러지 기반 방법에 메모리를 통합함으로써, 센서 제약이 있는 실생활 로봇 공학 시나리오에서의 강인성이 향상됨을 확인한다.
• 표준 DRL 접근 방식과 달리, 부분 관찰 조건 하에서도 안정적인 학습 동역학을 유지하고 성능 저하를 피하는 것으로 확인되었다.