[논문 리뷰] Morphology-Independent Facial Expression Imitation for Human-Face Robots

Xu Chen, Rui Gao외 5명|arXiv (Cornell University)|2026. 03. 07.

Social Robot Interaction and HRI인용 수 0

한 줄 요약

자체 감독, 형태 독립 프레임워크를 제안하여 얼굴 표정을 형태학(morphology)으로부터 분리하고, 맞춤형 인간-얼굴 로봇인 Pengrui에서 faithful한 표현 모사를 달성합니다. 표현 분리 및 구동 명령 매핑이 기준선보다 우수함을 보여줍니다.

ABSTRACT

Accurate facial expression imitation on human-face robots is crucial for achieving natural human-robot interaction. Most existing methods have achieved photorealistic expression imitation through mapping 2D facial landmarks to a robot's actuator commands. Their imitation of landmark trajectories is susceptible to interference from facial morphology, which would lead to a performance drop. In this paper, we propose a morphology-independent expression imitation method that decouples expressions from facial morphology to eliminate morphological influence and produce more realistic expressions for human-face robots. Specifically, we construct an expression decoupling module to learn expression semantics by disentangling the expression representation from the morphology representation in a self-supervised manner. We devise an expression transfer module to map the representations to the robot's actuator commands through a learning objective of perceiving expression errors, producing accurate facial expressions based on the learned expression semantics. To support experimental validation, a custom-designed and highly expressive human-face robot, namely Pengrui, is developed to serve as an experimental platform for realistic expression imitation. Extensive experiments demonstrate that our method enables the human-face robot to reproduce a wide range of human-like expressions effectively. All code and implementation details of the robot will be released.

연구 동기 및 목표

• 동기: 인간-얼굴 로봇에서의 표정 모방은 표현 표현에 대한 형태학적 간섭으로 방해받습니다.
• 목표: 다양한 형태학에서도 견고하고 현실적인 모방을 가능하게 하기 위해 표현을 형태학에서 분리합니다.
• 접근법: 자기지도 분리를 통해 표현 의미를 학습하고 이를 perceptual-error driven transfer로 로봇 액추에이터에 매핑합니다.
• 기여: 새로운 형태 독립 프레임워크와 실제 세계 검증을 위한 고충실도 로봇(Pengrui)을 제시합니다.]
• method:[

제안 방법

• FLAME 기반 자체 감독을 이용한 인코더–디코더로 이미지에서 해방된 표현 e, 포즈 p, 형태학 m를 추출하는 표현 분리 모듈(EDM).
• 학습된 인코더를 통해 e를 22개의 로봇 액추에이터 명령으로 매핑하고, 의도된 표현과 실현된 표현 간의 지각적 충실도를 최적화하기 위해 Frozen 디코더(ETM-INV)를 사용하는 표현 전송 모듈(ETM).
• 주석 데이터 없이 EDM을 학습하기 위해 FLAME으로 생성된 얼굴에서 도출된 2D 랜드마크를 실제 입력 랜드마크와 정렬하는 자기지도 신호를 사용합니다.
• 매개변수-얼굴 재구성에 대해 합성 FLAME 데이터를 활용하고, 인지적 정렬성을 보장하기 위해 표현 재구성 손실을 갖춘 ETM을 실제 로봇 데이터로 학습합니다.
• 로봇 Pengrui: 32 액추에이터, 고자유도(HDoF) 인간 얼굴 로봇으로 강한 링-링크 액추에이션 시스템과 실리콘 피부를 갖추고, 실제 세계 모사 검증에 사용됩니다.

실험 결과

연구 질문

• RQ1 표현을 얼굴 형태에 독립적으로 분리하여 표현 모사에서 형태학적 간섭을 줄일 수 있는가?
• RQ2 형태학 독립 표현이 인간-얼굴 로봇에서 크로스-모폴로지 표현 충실도를 향상시키는가?
• RQ3 배운 표현 표현을 로봇 액추에이터 명령으로 얼마나 잘 매핑해 다양한 형태학에서 자연스러운 표현을 재현할 수 있는가?
• RQ4 형태학 독립 접근이 landmark 기반 기준선과 비교해 실제 로봇 모사 성능에 어떤 영향을 미치는가?

주요 결과

• 형태학 독립 표상은 같은 표현에 대해 형태학 간의 변동성을 크게 줄이는 것을 보여주었다(CV가 landmark 기반 기준선 대비 감소).
• EDM(본 논문)은 RG 기준선에 비해 전체 표현 및 형태학 표현 정확도가 현저히 향상되었다(표 II에서 MSE/MAE가 큰 폭으로 감소).
• 전체 EDM+ETM 파이프라인은 여러 기준선(무작위 및 최근접 이웃 변형 포함)에 비해 액추에이터 명령 예측 정확도가 가장 높다(표 III).
• Pengrui를 이용한 실제 로봇 실험은 다양한 형태학을 가진 개인들 간의 광범위한 인간 표정을 충실하게 재현함을 시연한다.