[논문 리뷰] Learning to Assist: Physics-Grounded Human-Human Control via Multi-Agent Reinforcement Learning

Yuto Shibata, Kashu Yamazaki외 4명|arXiv (Cornell University)|2026. 03. 11.

Social Robot Interaction and HRI인용 수 0

한 줄 요약

이 논문은 physics-aware, tracking-based 컨트롤러를 학습하기 위한 다에이전트 강화학습 프레임워크(AssistMimic)를 제시하여, 가까운 인간–인간 상호작용에서 보조자와 피보조자가 공유 물리 시뮬레이터에서 함께 적응하고 보조 동작 모방을 달성하도록 한다.

ABSTRACT

Humanoid robotics has strong potential to transform daily service and caregiving applications. Although recent advances in general motion tracking within physics engines (GMT) have enabled virtual characters and humanoid robots to reproduce a broad range of human motions, these behaviors are primarily limited to contact-less social interactions or isolated movements. Assistive scenarios, by contrast, require continuous awareness of a human partner and rapid adaptation to their evolving posture and dynamics. In this paper, we formulate the imitation of closely interacting, force-exchanging human-human motion sequences as a multi-agent reinforcement learning problem. We jointly train partner-aware policies for both the supporter (assistant) agent and the recipient agent in a physics simulator to track assistive motion references. To make this problem tractable, we introduce a partner policies initialization scheme that transfers priors from single-human motion-tracking controllers, greatly improving exploration. We further propose dynamic reference retargeting and contact-promoting reward, which adapt the assistant's reference motion to the recipient's real-time pose and encourage physically meaningful support. We show that AssistMimic is the first method capable of successfully tracking assistive interaction motions on established benchmarks, demonstrating the benefits of a multi-agent RL formulation for physically grounded and socially aware humanoid control.

연구 동기 및 목표

• 가까운 상호작용을 하는 인간 간의 reactive force 교환이 필요한 보조 및 간병 상황을 해결하기 위한 동기를 부여한다.
• 피지컬 시뮬레이터에서 보조자와 피보조자 모두에 대해 파트너 인식 정책을 공동으로 학습하는 MARL 프레임워크를 개발한다.
• 학습 탐색 효율성과 학습 효율을 개선하기 위해 단일 인물 모션 프라이어에서 초기화를 활용한다.
• 동적 기준 재타깃링과 접촉 촉진 보상을 도입하여 노이즈가 있는 기준에서도 안정적이고 물리적으로 의미 있는 보조를 유지한다.

제안 방법

• 두 에이전트(S=Supporter, R=Recipient)에 대해 비대칭 역학을 가진 유한-한계 다에이전트 MDP로 물리 기반 인간–인간 모방을 공식화한다.
• 파트너 인식 입력 및 보조 상태를 보강한 단일 인물 추적 컨트롤러를 확장하여 공동 학습을 가능하게 한다.
• 새로운 입력에 대한 제로 패딩을 사용하여 사전 학습된 단일 인물 모션 프라이어에서 정책을 초기화한다.
• 피보조자가 기준으로부터 벗어날 때 유효한 상대 손 목표를 유지하기 위해 동적 기준 재타깃링을 구현한다.
• 근접 접촉 시나리오에서 엄격한 운동학적 추적보다 능동적이고 힘 인지된 상호 작용을 우선하는 접촉 촉진 보상을 도입한다.
• 전문가 정책을 학습시키고 DAgger를 통해 일반화형으로 증류시켜 더 넓은 모션 커버리지에 적용한다.

Figure 2 : Learning contact-rich assistive behaviors is substantially more difficult in the close-contact interactions that we target (bottom) than in contact-less social interactions (top) or isolated motions ( gray SR curve). AssistMimic addresses these challenges, achieving successful imitation f

실험 결과

연구 질문

• RQ1 보조자와 피보조자 모두의 공동 MARL 학습이 물리적으로 일관된 힘 교환 보조 동작을 학습할 수 있는가?
• RQ2 동적 기준 재타깃링이 근접 접촉 보조에서 접촉 강건성과 안정성을 개선하는가?
• RQ3 단일 인물 모션 프라이어에서 초기화하고 접촉 촉진 보상을 추가하는 것이 학습 효율성과 모방 충실도에 미치는 영향은 무엇인가?
• RQ4 학습된 정책은 보지 못한 피보조자 역학 및 생성된 상호 작용 궤적에 대해 얼마나 강건한가?
• RQ5 전문가 정책을 일반화형 정책으로 distill하는 것이 다양한 Inter-X 클립에서 일반화 성능을 향상시키는가?

주요 결과

• AssistMimic은 Inter-X 데이터셋에서 성공률이 더 높고 안정성이 더 우수하며 SR이 83%이고 HHI-Assist에서 SR이 66%인 것을 달성한다.
• 공동 MARL 학습은 근접 상호 작용하고 힘을 교환하는 모션에 대해 순차적 또는 분리된 학습 접근법보다 우수하다.
• 모션 프라이어 초기화는 수렴에 결정적이며, 이를 사용하지 않으면 학습이 실패하거나 보상을 악용한다.
• 동적 기준 재타깃링은 상호 작용 목표를 유지하고 특히 HHI-Assist에서 강건성을 개선한다.
• 접촉 촉진 보상은 보지 못한 피보조자 역학에 대한 강건성과 침대 기반 보조 하에서 COM 안정성을 크게 향상시킨다.
• 전문가로부터 DAgger를 통해 일반화형으로 증류된 정책은 다양한 Inter-X 클립에서 성능을 향상시킨다(SR 64.7% 대 증류 없이 39.8%).
• 이 프레임워크는 생성된 확산 모델 상호 작용을 추적하고 재현할 수 있어 생성되었고 보지 못한 모션에 대한 광범위한 적용 가능성을 보인다.

Figure 3 : Overview of AssistMimic . We train tracking-based humanoid control policies for both the recipient and the supporter, optimizing them to imitate a paired reference motion sequence. Our architecture builds on the single-agent tracking framework of PHC [ 10 ] , extending it with partner-awa