[논문 리뷰] FastDSAC: Unlocking the Potential of Maximum Entropy RL in High-Dimensional Humanoid Control

Jun Xue, Junze Wang외 4명|arXiv (Cornell University)|2026. 03. 13.

Reinforcement Learning in Robotics인용 수 0

한 줄 요약

FastDSAC은 Dimension-wise Entropy Modulation과 continuous distributional critic를 도입하여 고차원 휴머노이드 제어를 위한 확장 가능한 최대 엔트로피 강화 학습을 가능하게 하고, 복잡한 작업에서 강력한 성능을 달성합니다.

ABSTRACT

Scaling Maximum Entropy Reinforcement Learning (RL) to high-dimensional humanoid control remains a formidable challenge, as the ``curse of dimensionality'' induces severe exploration inefficiency and training instability in expansive action spaces. Consequently, recent high-throughput paradigms have largely converged on deterministic policy gradients combined with massive parallel simulation. We challenge this compromise with FastDSAC, a framework that effectively unlocks the potential of maximum entropy stochastic policies for complex continuous control. We introduce Dimension-wise Entropy Modulation (DEM) to dynamically redistribute the exploration budget and enforce diversity, alongside a continuous distributional critic tailored to ensure value fidelity and mitigate high-dimensional value overestimation. Extensive evaluations on HumanoidBench and other continuous control tasks demonstrate that rigorously designed stochastic policies can consistently match or outperform deterministic baselines, achieving notable gains of 180\% and 400\% on the challenging extit{Basketball} and extit{Balance Hard} tasks.

연구 동기 및 목표

• 탐색 비효율성과 가치 과대추정에도 불구하고 고차원 휴머노이드 제어에 최대 엔트로피 RL 확장을 촉진한다.
• 대규모 동작 공간에서 탐색을 관리하고 가치 정확도를 향상시키는 메커니즘을 도입한다.
• 복잡하고 고차원적인 과제에서 확률 정책이 결정론적 기준치를 따라잡거나 능가할 수 있음을 보여준다.

제안 방법

• Softmax-가이드된 차원별 가중치를 사용하여 탐색 예산을 동작 차원에 재분배하기 위해 Dimension-wise Entropy Modulation (DEM)을 제안한다.
• 이산화 오차를 피하고 가치 과대추정을 완화하기 위해 Gaussian로 모델링된 연속 분포적 비평가를 채택한다.
• DEM 기반 탐색과 연속 분포 학습 및 엔트로피 정규화 정책 개선을 혼합한 Distributional Soft Policy Iteration (DSPI) 루프를 사용한다.
• 훈련 및 비평가 업데이트를 안정화하기 위해 대규모 배치의 대량 병렬 환경을 활용한다.
• 탐욕도 목표 엔트로피를 만족시키도록 온도 매개변수 alpha를 조정하여 탐색을 강화하면서 제어 권한을 유지한다.

실험 결과

연구 질문

• RQ1 FastDSAC이 고차원 humanoid 작업에서 최첨단 결정론적, 확률적, 온정책 및 모델 기반 기준선보다 성능을 초과할 수 있는가?
• RQ2 DEM이 고차원 동작 공간에서 해석 가능한, 작업에 맞춘 탐색에 필요한가?
• RQ3 연속 Gaussian 분포적 비평가가 이 설정에서 이산 비평가(C51 등)보다 안정성 이점을 제공하는가?
• RQ4 DEM 온도 tau가 작업 간 탐색 희소성 및 성능에 어떤 영향을 미치는가?

주요 결과

• FastDSAC은 HumanoidBench, MuJoCo Playground, IsaacLab의 39개 작업에서 SOTA 기준선과 동등하거나 그 이상을 달성한다.
• Basketball 및 Balance Hard 작업에서 각각 약 180% 및 400%의 이점을 FastTD3 대비 제공한다.
• DEM은 자율 서브스페이스 가지치기를 가능하게 하여 탐색을 작업 관련 차원에 집중시키고 불필요한 구동기를 억제한다.
• 연속 Gaussian 분포적 비평가는 양자화 아티팩트를 감소시키고 이산 비평가(C51 등)와 비교하여 가치 과대추정을 완화한다.
• FastDSAC은 복잡한 협응 및 조작 작업에서 우수한 성능을 보이고 시뮬레이터 간 강건성을 유지한다.