[논문 리뷰] Distributional Soft Actor-Critic with Three Refinements

Jingliang Duan, Wenxuan Wang외 7명|arXiv (Cornell University)|2023. 10. 09.

Mosquito-borne diseases and control인용 수 8

한 줄 요약

DSAC-T는 기대값 대체, 트윈 가치 분포, 및 분산 기반 크리틱 그래디언트 조정을 도입함으로써 분포적 소프트 액터-크리틱을 개선하고, 작업별 보상 스케일링 없이도 안정적인 학습과 강력한 성능을 달성합니다.

ABSTRACT

Reinforcement learning (RL) has shown remarkable success in solving complex decision-making and control tasks. However, many model-free RL algorithms experience performance degradation due to inaccurate value estimation, particularly the overestimation of Q-values, which can lead to suboptimal policies. To address this issue, we previously proposed the Distributional Soft Actor-Critic (DSAC or DSACv1), an off-policy RL algorithm that enhances value estimation accuracy by learning a continuous Gaussian value distribution. Despite its effectiveness, DSACv1 faces challenges such as training instability and sensitivity to reward scaling, caused by high variance in critic gradients due to return randomness. In this paper, we introduce three key refinements to DSACv1 to overcome these limitations and further improve Q-value estimation accuracy: expected value substitution, twin value distribution learning, and variance-based critic gradient adjustment. The enhanced algorithm, termed DSAC with Three refinements (DSAC-T or DSACv2), is systematically evaluated across a diverse set of benchmark tasks. Without the need for task-specific hyperparameter tuning, DSAC-T consistently matches or outperforms leading model-free RL algorithms, including SAC, TD3, DDPG, TRPO, and PPO, in all tested environments. Additionally, DSAC-T ensures a stable learning process and maintains robust performance across varying reward scales. Its effectiveness is further demonstrated through real-world application in controlling a wheeled robot, highlighting its potential for deployment in practical robotic tasks.

연구 동기 및 목표

• 연속 제어 과제를 위한 모델프리 RL에서 과대추정 바이어스를 해결한다.
• 작업별 보상 스케일링을 요구하지 않으면서 분포적 가치 학습의 안정성을 향상시킨다.
• 트윈 가치 분포와 정교한 그래디언트 업데이트를 통해 과대추정을 줄인다.
• 작업 전반에 걸쳐 안정적인 성능을 가진 견고하고 일반화 가능한 DSAC 변형(DSAC-T)을 제공한다.

제안 방법

• Z(s,a)에 대한 가우시안 가치 분포를 학습하기 위해 분포적 소프트 정책 반복을 채택한다.
• 평가기 업데이트에서 임의 타깃을 안정적인 대리 타깃(기대값)으로 대체한다(y_q 대비 y_z).
• 트윈 가치 분포를 도입하고 기울기 계산에 최소-평균 분포를 사용한다(과대추정을 완화).
• 고정 클리핑 경계선을 분산 기반 경계 b = xi E[sigma(s,a)]로 교체하고 분산 인식 계수 omega로 그래디언트를 스케일링한다.
• 보상 스케일 민감도를 줄이기 위해 클리핑 및 스케일링 매개변수의 이동 평균 업데이트를 도입한다.
• 정책 업데이트를 위한 재매개변화(reparameterization)를 활용하고 목표 엔트로피를 유지하기 위해 온도 alpha를 조정한다.

실험 결과

연구 질문

• RQ1 DSAC-T가 DSAC-v1 및 다른 baselines보다 과대추정 바이어스를 더 효과적으로 줄일 수 있는가?
• RQ2 개선이 다양한 작업에서 학습 안정성과 보상 스케일에 대한 민감도 감소로 이어지는가?
• RQ3 트윈 가치 분포와 기대값 대체가 크리틱 및 액터 업데이트에 어떤 영향을 미치는가?
• RQ4 분산 기반 그래디언트 조정이 보상 크기에 대한 강건성에 미치는 영향은 무엇인가?

주요 결과

• DSAC-T는 작업별 과다 매개변수 조정 없이 테스트된 환경에서 기본 모델프리 RL 알고리즘(SAC, TD3, DDPG, TRPO, PPO)을 능가하거나 동등한 성능을 보인다.
• DSAC-v1과 비교할 때 DSAC-T는 더 나은 학습 안정성 및 최종 성능을 달성한다.
• 트윈 가치 분포 학습은 과대추정 바이어스를 줄이고 약간의 미세한 과소추정을 유도하여 안정성에 기여한다.
• 분산 기반 클리핑 및 그래디언트 스케일링은 보상 크기에 대한 민감도를 완화하여 작업별 보상 튜닝의 필요성을 줄인다.
• DSAC-T는 OpenAI Gym 벤치마크의 벡터 기반 및 이미지 기반 작업 모두에서 강력한 성능을 보인다.