[論文レビュー] Morphology-Independent Facial Expression Imitation for Human-Face Robots

Xu Chen, Rui Gao+5 more|arXiv (Cornell University)|Mar 7, 2026

Social Robot Interaction and HRI被引用数 0

ひとこと要約

自己教師あり・形態依存性を排除しない枠組みを提案し、表情表現を形態からデカップリングしてカスタム人顔ロボットPengruiで忠実な表情模倣を実現。ベースラインより表現表現の分離とアクチュエータ指令のマッピングで優れた性能を示す。

ABSTRACT

Accurate facial expression imitation on human-face robots is crucial for achieving natural human-robot interaction. Most existing methods have achieved photorealistic expression imitation through mapping 2D facial landmarks to a robot's actuator commands. Their imitation of landmark trajectories is susceptible to interference from facial morphology, which would lead to a performance drop. In this paper, we propose a morphology-independent expression imitation method that decouples expressions from facial morphology to eliminate morphological influence and produce more realistic expressions for human-face robots. Specifically, we construct an expression decoupling module to learn expression semantics by disentangling the expression representation from the morphology representation in a self-supervised manner. We devise an expression transfer module to map the representations to the robot's actuator commands through a learning objective of perceiving expression errors, producing accurate facial expressions based on the learned expression semantics. To support experimental validation, a custom-designed and highly expressive human-face robot, namely Pengrui, is developed to serve as an experimental platform for realistic expression imitation. Extensive experiments demonstrate that our method enables the human-face robot to reproduce a wide range of human-like expressions effectively. All code and implementation details of the robot will be released.

研究の動機と目的

• 動機：人間顔ロボットでの表情模倣は表情表現の形態依存の干渉により妨げられる。
• 目的：形態から表情をデカップリングして、多様な形態に対して堅牢かつリアルな模倣を実現。
• アプローチ：自己教師ありのデカップリングで表情意味を学習し、それを perceptual-error に基づく移動（転送）でロボットアクチュエータへマッピング。
• 貢献：新しい形態非依存フレームワークと実世界検証用の高忠実度ロボット（Pengrui）を提供。

提案手法

• 表情デカップリングモジュール（EDM）：FLAMEベースの自己監視により、エンコーダ–デコーダで分離した表情e、姿勢p、形態mを画像から抽出。
• 表情転送モジュール（ETM）：学習済みエンコーダを介してeを22個のロボットアクチュエータ命令へマップし、凍結デコーダ（ETM-INV）を用いて意図表情と実現表情の知覚忠実性を最適化。
• 自己監視信号：FLAME生成顔から導出された2Dランドマークと実入力ランドマークを整列させ、注釈データなしでEDMを訓練。
• 訓練：パラメータ→顔再構成には合成FLAMEデータを、ETMには実ロボットデータを用い、表現再構成損失で知覚整合を保証。
• ロボットPengrui：32アクチュエータ、高自由度の人顔ロボットで、剛性連動機構とシリコン皮膚を備え、現実世界での模倣検証に使用。

実験結果

リサーチクエスチョン

• RQ1 表現を顔の形態から効果的にデカップリングして、形態誘導の干渉を表情模倣から低減できるか。
• RQ2 形態非依存表現表現は、形態を跨いだ表現忠実度を向上させるか。
• RQ3 学習した表現表現をロボットのアクチュエータ指令へどの程度うまくマッピングして、多様な形態で自然な表情を再現できるか。
• RQ4 形態非依存アプローチが、ランドマークベースのベースラインと比較して実ロボット模倣性能にどのような影響を与えるか。

主な発見

手法	全体MSE	全体MAE	表情MSE	表情MAE	形態MSE	形態MAE
RG	3.838	1.612	4.001	1.663	3.981	1.663
EDM (ours)	1.006	0.794	1.108	0.840	1.012	0.806

• 形態非依存表現は、同じ表情でも形態が異なる場合の変動性を大幅に低減（ランドマークベースのベースラインと比較した変動係数の低下）。
• EDM（本手法）はRGベースラインに対して全体・表情・形態表現の精度を大幅に改善（Table IIで大きなMSE/MAEの低下）。
• 完全なEDM+ETMパイプラインは、ランダム・最近傍などのベースラインと比較してアクチュエータ指令予測精度が最も高い（Table III）。
• Pengruiを用いた実機実験は、形態が異なる個人間の幅広い人間表情を忠実に再現することを示す。