[논문 리뷰] Deep Residual Reinforcement Learning

Shangtong Zhang, Wendelin Boehmer외 1명|arXiv (Cornell University)|2019. 05. 03.

Reinforcement Learning in Robotics참고 문헌 51인용 수 7

한 줄 요약

이 논문은 모델 자유형 및 모델 기반 강화학습에서 성능을 크게 향상시키기 위해 잔차 강화학습(Reinforcement Learning, RL) 알고리즘의 안정성을 높이기 위해 이중 방향 타겟 네트워크 기법을 도입한다. 잔차 알고리즘은 딥마인드 컨트롤 스위트에서 바닐라 DDPG를 능가하며, k단계 예측이 필요한 TD(k)보다 분포 불일치 문제를 더 효과적으로 해결함으로써, k단계가 아닌 1단계 롤아웃만으로도 충분히 효과적인 솔루션을 제공한다.

ABSTRACT

We revisit residual algorithms in both model-free and model-based reinforcement learning settings. We propose the bidirectional target network technique to stabilize residual algorithms, yielding a residual version of DDPG that significantly outperforms vanilla DDPG in the DeepMind Control Suite benchmark. Moreover, we find the residual algorithm an effective approach to the distribution mismatch problem in model-based planning. Compared with the existing TD($k$) method, our residual-based method makes weaker assumptions about the model and yields a greater performance boost.

연구 동기 및 목표

• 반세미-그라디언트 딥 RL 알고리즘의 불안정성과 이론적 보장의 부족을 해결하기 위해.
• 새로운 이중 방향 타겟 네트워크 기법을 도입하여 딥 RL에서의 잔차 알고리즘을 안정화하기 위해.
• 모델 기반 계획에서 분포 불일치 문제를 완화하는 데 있어 잔차 알고리즘의 효과성을 입증하기 위해.
• 잔차 알고리즘은 기존의 TD(k)보다 우수한가에 대한 경험적 증거를 제공하기 위해.

제안 방법

• 값과 잔차 그라디언트 양쪽에 대한 타겟 네트워크를 유지함으로써 잔차 학습을 안정화하는 이중 방향 타겟 네트워크 기법을 제안한다.
• 잔차 알고리즘을 DDPG에 통합하여 샘플 효율성과 성능을 향상시킨 잔차 버전(Bi-Res-DDPG)을 생성한다.
• 반세미-그라디언트와 잔차 그라디언트 업데이트를 조합하기 위해 혼합 계수 η를 사용하여 비선형 함수 근사 하에서 안정적인 훈련을 가능하게 한다.
• 1단계 롤아웃을 사용하여 실제 전이와 상상 전이 양쪽에 대해 가치 함수를 훈련시킴으로써 잔차 알고리즘을 모델 기반 계획에 적용한다.
• 안정성을 향상시키기 위해 TD(k) 손실을 수정하여 실제 전이에 더 중점을 두고, 평균 제곱 오차 대신 Huber 손실을 사용한다.
• 학습된 모델이 상상 전이를 생성하는 다이나 스타일의 계획 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 새로운 타겟 네트워크 설계를 통해 딥 RL에서 잔차 알고리즘을 안정화시킬 수 있는가?
• RQ2 제안된 잔차 DDPG는 연속 제어 벤치마크에서 바닐라 DDPG를 능가하는가?
• RQ3 정확한 k단계 모델 롤아웃이 필요 없이도 잔차 알고리즘은 모델 기반 계획에서 분포 불일치 문제를 효과적으로 해결할 수 있는가?
• RQ4 샘플 효율성과 최종 수익 측면에서 잔차 기반 계획은 TD(k)-기반 계획보다 어떻게 성능이 뛰어나게 되는가?

주요 결과

• η=0.05를 사용한 Bi-Res-DDPG는 28개의 DMControl 작업 전반에서 바닐라 DDPG보다 유의미하게 높은 수익을 기록하며, 평가 곡선에서도 일관된 향상을 보였다.
• 이중 방향 타겟 네트워크 기법은 잔차 학습을 안정화시켜, 단순한 타겟 네트워크와 잔차 알고리즘의 조합이 실패하는 상황에서도 안정적인 훈련을 가능하게 하였다.
• TD(k)-기반 계획보다 대부분의 모델 기반 RL 작업에서 잔차 기반 계획이 더 뛰어난 성능을 보였으며, k단계 예측이 정확하지 않아도 1단계 롤아웃만으로도 충분히 효과적이었다.
• Huber 손실과 개선된 손실 공식을 적용한 수정된 MVE-DDPG는 이전 베이스라인보다 더 뛰어난 안정성과 성능을 보였으며, 특히 허퍼와 워커 환경에서 두드러졌다.
• 잔차 알고리즘은 장기적인 시점에서의 모델 정확도에 의존하지 않고도 상상 상태로의 가치 함수 일반화를 효과적으로 수행하여 분포 불일치 문제를 줄였다.