[논문 리뷰] Off-Policy Reinforcement Learning with Delayed Rewards

Beining Han, Zhizhou Ren외 3명|arXiv (Cornell University)|2021. 06. 22.

Reinforcement Learning in Robotics참고 문헌 30인용 수 14

한 줄 요약

이 논문은 지연된 보상을 가진 환경을 위한 새로운 오프-폴리시 강화학습 프레임워크를 제안하며, 비마르코프 동역학을 다루기 위해 새로운 $Χ$-함수 정식화와 HC-분해를 도입한다. 이 방법은 이론적 수렴을 보장하며 고차원 설정에서 학습 안정성과 효율성을 향상시켜 지연 피드백이 있는 벤치마크 과제에서 이전 접근법을 능가한다.

ABSTRACT

We study deep reinforcement learning (RL) algorithms with delayed rewards. In many real-world tasks, instant rewards are often not readily accessible or even defined immediately after the agent performs actions. In this work, we first formally define the environment with delayed rewards and discuss the challenges raised due to the non-Markovian nature of such environments. Then, we introduce a general off-policy RL framework with a new Q-function formulation that can handle the delayed rewards with theoretical convergence guarantees. For practical tasks with high dimensional state spaces, we further introduce the HC-decomposition rule of the Q-function in our framework which naturally leads to an approximation scheme that helps boost the training efficiency and stability. We finally conduct extensive experiments to demonstrate the superior performance of our algorithms over the existing work and their variants.

연구 동기 및 목표

• 지속적인 보상이 없고 즉각적으로 제공되지 않는 비마르코프 보상이 존재하는 환경에서 딥 강화학습의 과제를 해결하기 위해.
• 실세계 시나리오인 교통 제어 및 분자 설계를 반영할 수 있는 과거 불변 지연 보상 MDP(PI-DRMDP)를 정식화하기 위해.
• 지연된 보상 하에서 수렴을 보장하는 새로운 $Χ$-함수 정식화를 바탕으로 한 이론적으로 탄탄한 오프-폴리시 알고리즘을 개발하기 위해.
• 고차원 상태 공간에서의 효율적 근사화를 위해 HC-분해 규칙을 도입하여 학습 안정성과 효율성을 향상시키기 위해.
• 기존 알고리즘에 비해 지연 보상 환경에서의 성능을 경험적으로 검증하기 위해.

제안 방법

• 지연된 보상을 다루기 위해 과거(H) 및 현재(C) 상태-행동 정보를 모두 사용하여 가치 함수를 명시적으로 모델링하는 새로운 $Χ$-함수 정식화를 도입한다.
• 보상은 가변 길이 신호 간격의 끝에서만 관측되는 Past-Invariant Delayed Reward MDP(PI-DRMDP)를 정의하며, 이는 상태-행동 쌍의 순서에 기반한다.
• 고차원 공간에서의 효율적 함수 근사화를 가능하게 하기 위해 $Χ$-함수를 H 및 C 구성요소로 분해하는 HC-분해 규칙을 제안한다.
• SAC과 같은 오프-폴리시 알고리즘에 HC-분해를 통합하여 지연 피드백이 있는 환경에서 안정적이고 효율적인 학습을 가능하게 한다.
• GRU 또는 구조화된 피드포워드 아키텍처를 사용한 크리틱 네트워크를 활용해 $Χ$-함수를 모델링하고, 분산 추정을 위해 별도의 편향 없는 크리틱을 사용하여 과대평가 편향을 방지한다.
• 반복적 상대 신용 할당(IRC)과 보상 간격 기반 수익 추정을 활용하여 지연 보상 설정에서의 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 지연된 비마르코프 보상이 존재하는 환경에서 오프-폴리시 딥 강화학습을 어떻게 이론적으로 탄탄하고 실용적으로 효과적으로 만들 수 있는가?
• RQ2 학습에 핵심적인 성질인 과거 불변성을 유지하면서 지연 보상 환경을 어떻게 적절히 정식화할 수 있는가?
• RQ3 HC-분해를 통한 새로운 $Χ$-함수 정식화가 고차원 지연 보상 환경에서 학습 안정성과 샘플 효율성을 향상시킬 수 있는가?
• RQ4 기존 오프-폴리시 알고리즘과 비교해 본다면, 제안된 방법은 지연 보상 벤치마크에서 수렴성과 성능 측면에서 어떻게 다른가?
• RQ5 GRU 또는 구조화된 네트워크와 같은 아키텍처 선택이 지연 보상 환경에서 가치 함수 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 ${\mathcal{Q}}$-HC-Singleton 알고리즘은 Point Reach 및 MuJoCo 환경을 포함한 지연 보상 과제에서 SAC 및 기타 베이스라인보다 뛰어난 성능을 기록한다.
• HC-분해 덕분에 실험적으로 더 안정적이고 효율적인 학습이 가능하며, 정책 기울기의 분산 감소와 더 빠른 수렴을 통해 이를 입증한다.
• 실험 결과, 에피소드 수익 대신 간격 기반 보상 사용이 지연 보상 환경에서 성능 향상에 기여하며, 특히 희박한 피드백 상황에서 두드러진다.
• 별도의 편향 없는 크리틱을 사용한 분산 추정은 제안된 방법이 과대평가 편향을 줄이고 기울기 품질을 향상시킨다는 것을 확인한다.
• 상대 평균 성능(RAP) 지표는 조정된 지연 보상 과제에서 오라클 SAC보다도 성능이 뛰어나며, 이는 강력한 일반화 능력을 의미한다.
• 목표에 도달하기 위한 거리에 따라 $b_{\phi}(s_{t},a_{t})$의 시각화 결과는 직접 목표 정보가 없더라도도 학습된 가치 함수가 목표에 가까운 정도를 정확히 반영하고 있음을 보여준다.