[논문 리뷰] Task-Specified Compliance Bounds for Humanoids via Lipschitz-Constrained Policies

Zewen He, Yoshihiko Nakamura|arXiv (Cornell University)|2026. 03. 17.

Robotic Locomotion and Control인용 수 0

한 줄 요약

논문은 태스크-스페이스 강성 상한을 상태 의존적이고 방향 인식적인 정책 제이콥ian(Jacobian)에 대한 제약으로 매핑하는 anisotropic Lipschitz-constrained policies(ALCP)를 도입하며, 이를 RL 훈련 중에 강제하여 태스크 지시된 순응성과 인간형 보행의 안정적 움직임을 달성한다.

ABSTRACT

Reinforcement learning (RL) has demonstrated substantial potential for humanoid bipedal locomotion and the control of complex motions. To cope with oscillations and impacts induced by environmental interactions, compliant control is widely regarded as an effective remedy. However, the model-free nature of RL makes it difficult to impose task-specified and quantitatively verifiable compliance objectives, and classical model-based stiffness designs are not directly applicable. Lipschitz-Constrained Policies (LCP), which regularize the local sensitivity of a policy via gradient penalties, have recently been used to smooth humanoid motions. Nevertheless, existing LCP-based methods typically employ a single scalar Lipschitz budget and lack an explicit connection to physically meaningful compliance specifications in real-world systems. In this study, we propose an anisotropic Lipschitz-constrained policy (ALCP) that maps a task-space stiffness upper bound to a state-dependent Lipschitz-style constraint on the policy Jacobian. The resulting constraint is enforced during RL training via a hinge-squared spectral-norm penalty, preserving physical interpretability while enabling direction-dependent compliance. Experiments on humanoid robots show that ALCP improves locomotion stability and impact robustness, while reducing oscillations and energy usage.

연구 동기 및 목표

• humanoids의 강화학습에서 임의Penalties를 넘어선 순응 제어를 동기화한다.
• 태스크-스페이스 강성 상한 K_x^max를 상태 의존적이고 이방향성 있는 제약으로 정책 제이콥ian에 매핑한다.
• RL 정책에 의해 유도된 등가 관절 강성 K_eq(o)와 정책 제이콥ian과의 관계를 도출한다.
• RL 정책에 의해 유도된 등가 관절 강성 K_eq(o)와 정책 제이콥ian과의 관계를 도출한다.
• 정책의 효과적인 관절 강성을 관찰하고 제어할 수 있는 물리적으로 해석 가능한 프레임워크를 제공한다.
• ALCP가 시뮬레이션 및 실제 로봇 실험에서 Tunable한 순응성과 향상된 안정성을 가져다줌을 보인다.

제안 방법

• 정책 제이콥ian에 대한 예산 행렬 K_LCP를 사용하여 anisotropic Lipschitz 제약을 형식화한다.
• 정책-유도 등가 관절 강성 K_eq(o)와 J_pi(o)를 통한 관계를 정의한다.
• 태스크-스페이스 강성 상한 K_x^max를 관절-공간 강성 예산 K_q^max로 매핑하고 이를 운동학 관계 및 강성-순응 프레임워크를 통해 도출한다.
• 강성 제약의 anisotropic LCP를 RL 훈련 중 소프트 제약으로 강제하는 힌지-제곱 스펙트ral-노름 페널티를 도입한다.
• ALCP 훈련 목적 L_total = L_RL + lambda_aniso * R_aniso를 도출하며, R_aniso는 강성 제약 위반에 페널티를 부과한다.
• 훈련과 평가 중 서로 다른 접촉 단계를 처리하기 위해 유한 상태 기계(FSM)를 사용한다.

실험 결과

연구 질문

• RQ1 RL 훈련 내에서 태스크-스페이스 강성 상한을 어떻게 강제하여 해석 가능하고 검증 가능한 순응을 얻을 수 있는가?
• RQ2 스칼라 LCP와 비교하여 anisotropic(방향 의존적) Lipschitz 예산이 인간형 정책에서 더 유연하고 물리적으로 의미 있는 제어를 제공할 수 있는가?
• RQ3 시뮬레이션과 실제 인간형 로봇에서 ALCP를 강제할 때의 안정성, 순응성, 에너지의 트레이드오프는 무엇인가?
• RQ4 ALCP가 보행 및 조작 중 CoM과 사지 상호작용에서 제어 가능한 태스크-지정 순응성을 가능하게 하는가?

주요 결과

• ALCP는 태스크-스페이스 강성 제약을 anisotropic 정책 제이콥ian 예산으로 변환하여 해석 가능성을 높이고 태스크-지정 순응을 가능하게 한다.
• 스칼라 LCP와 비교하여 ALCP는 방향 의존적 제어를 제공하여 균형을 유지하면서 CoM 및 손의 순응성을 조정할 수 있다.
• 시뮬레이션에서 ALCP는 stepping 및 standing 작업 하의 방향 제곱형 예산을 한정하여 고주파 활동을 감소시키고 에너지/노력의 제어 가능한 트레이드오프를 가능하게 한다.
• SILC 기반 정책을 통해 태스크 강성 제약에서 도출된 간섭으로부터 핸드 진동 감소 및 외부 하중 하의 빠른 정착을 보이는 인간형 플랫폼의 하드웨어 실험.
• 보행 시나리오 전반에 걸쳐 ALCP는 정책 민감도에 한계를 두고 안정성을 유지하여 순응적이면서도 견고한 보행을 달성한다.