[논문 리뷰] Flow Policy Gradients for Robot Control

Brent Yi, Hongsuk Choi외 10명|arXiv (Cornell University)|2026. 02. 02.

Robotic Locomotion and Control인용 수 0

한 줄 요약

본 논문은 FPO++를 제시한다, 로봇 제어를 위한 표현력 있는 흐름(flow)-기반 정책의 학습을 안정화하는 흐름 정책 그래디언트 방법으로, 처음부터 학습, 시뮬레이션-실환경 전이, 그리고 명시적 가능도 없이 시연으로부터의 미세 조정을 가능하게 한다.

ABSTRACT

Likelihood-based policy gradient methods are the dominant approach for training robot control policies from rewards. These methods rely on differentiable action likelihoods, which constrain policy outputs to simple distributions like Gaussians. In this work, we show how flow matching policy gradients -- a recent framework that bypasses likelihood computation -- can be made effective for training and fine-tuning more expressive policies in challenging robot control settings. We introduce an improved objective that enables success in legged locomotion, humanoid motion tracking, and manipulation tasks, as well as robust sim-to-real transfer on two humanoid robots. We then present ablations and analysis on training dynamics. Results show how policies can exploit the flow representation for exploration when training from scratch, as well as improved fine-tuning robustness over baselines.

연구 동기 및 목표

• 복잡한 가우시안 정책을 넘어서 로봇 제어를 위한 표현력이 풍부한 흐름 기반 정책의 활용을 촉진한다.
• 도전적인 로봇 공학 과제에서 흐름 정책 최적화를 안정시키는 강건한 학습 알고리즘(FPO++)을 개발한다.
• 이동(locomotion), 추적(tracking), 조작(manipulation)에 걸쳐 처음부터 학습, 시뮬레이션-실환경 전이, 그리고 시연으로부터의 미세 조정을 시연한다.
• 학습 역학 및 ablation 연구를 분석하여 안정성과 성능을 향상시키는 메커니즘을 이해한다.

제안 방법

• 흐름 매칭 정책 그래디언트를 사용하여 흐름 기반 정책에 대한 명시적 가능도를 피한다.
• 미니배치의 각 샘플을 독립적으로 클리핑할 수 있도록 샘플별 비율 클리핑을 도입한다.
• 양의 가치에 대한 PPO 클리핑과 음의 가치에 대한 SPO 기반 가이던스를 결합한 비대칭 신뢰 영역(ASPO)을 채택한다.
• 평가를 개선하고 지연을 줄이기 위해 테스트 시 제로 샘플링(zero-sampling)을 도입한다.
• 액션 가능도 계산 없이 흐름 업데이트를 추정하기 위한 조건부 흐름 매칭(CFM) 손실을 정의한다.
• 안정성과 강건성을 검증하기 위해 이동, 휴머노이드 시뮬-실환경 전이, 그리고 조작 미세 조정 과제에서 평가한다.

Figure 2: Improved stability in IsaacLab locomotion environments. We compare episode returns from FPO++ training with FPO returns over many different hyperparameter choices: FPO++ rewards are averaged over 5 seeds, while FPO runs are included for all combinations of learning rate $\in\{10^{-5},10^{-

실험 결과

연구 질문

• RQ1 실세계 로봇공학에서 명시적 가능도 없이 정책 그래디언트 방법으로 흐름 기반 정책을 효과적으로 학습할 수 있는가?
• RQ2 샘플별 비율 클리핑과 ASPO가 도전적인 로봇 과제에서 안정성과 성능을 향상시키는가?
• RQ3 테스트 시 제로 샘플링이 시뮬레이션-실환경 전이 및 흐름 정책 평가에 이로운가?
• RQ4 이동, 추적, 조작에 걸쳐 처음부터 학습, 시뮬레이션-실환경 전이, 시연으로부터의 미세 조정에서 흐름 기반 정책은 어떻게 성능을 발휘하는가?
• RQ5 Gaussian PPO와 비교했을 때 FPO++의 학습 역학과 강건성을 좌우하는 핵심 요인은 무엇인가?

주요 결과

• 표준 FPO가 실패한 이동 및 휴머노이드 작업에서 FPO++은 학습 안정성을 크게 향상시킨다.
• 테스트 시 제로 샘플링은 평가 성능과 시뮬레이션-실환경 전이를 향상시키고 종종 계산량을 줄인다.
• 샘플별 비율 클리핑이 액션별 비율보다 더 크고 일관된 보상을 얻는다.
• ASPO 신뢰 영역은 엔트로피를 보존하는 데 도움이 되고 학습을 안정시키며 많은 이동 작업에서 최종 성능을 향상시킨다.
• FPO++로 학습된 흐름 정책은 Gaussian PPO보다 더 표현력 있는 행동 결합을 보이며 다양한 상황에 적합한 보행을 이끈다.
• 다중 조작 과제에서 FPO++를 이용한 시연으로부터의 미세 조정은 DPPO 변형을 포함한 다양한 베이스라인보다 뛰어나다.

(a) T1 locomotion