[논문 리뷰] Data-driven emotional body language generation for social robotics

Mina Marmpena, Fernando García외 3명|arXiv (Cornell University)|2022. 05. 02.

Social Robot Interaction and HRI인용 수 4

한 줄 요약

이 논문은 페퍼 로봇의 감정 표현성 있는 신체 운동을 생성하기 위해 조건부 변동형 오토인코더(CVAE)를 사용하는 데이터 기반 프레임워크를 제안한다. 이는 잠재 공간 샘플링을 통해 정황에 따라 조절 가능한 정서적 차원인 정서의 강도(valence)와 각성도(arousal)를 기반으로 한다. 제안된 방법은 수동으로 설계된 애니메이션과 동등하게 인간다운 느낌과 생동감을 갖춘 애니메이션을 성공적으로 생성하였으며, 높은 각성도나 극단적인 정서적 강도를 띤 표현은 더 많은 주목을 받고 더 감정적으로 평가되었다.

ABSTRACT

In social robotics, endowing humanoid robots with the ability to generate bodily expressions of affect can improve human-robot interaction and collaboration, since humans attribute, and perhaps subconsciously anticipate, such traces to perceive an agent as engaging, trustworthy, and socially present. Robotic emotional body language needs to be believable, nuanced and relevant to the context. We implemented a deep learning data-driven framework that learns from a few hand-designed robotic bodily expressions and can generate numerous new ones of similar believability and lifelikeness. The framework uses the Conditional Variational Autoencoder model and a sampling approach based on the geometric properties of the model's latent space to condition the generative process on targeted levels of valence and arousal. The evaluation study found that the anthropomorphism and animacy of the generated expressions are not perceived differently from the hand-designed ones, and the emotional conditioning was adequately differentiable between most levels except the pairs of neutral-positive valence and low-medium arousal. Furthermore, an exploratory analysis of the results reveals a possible impact of the conditioning on the perceived dominance of the robot, as well as on the participants' attention.

연구 동기 및 목표

• 인간형 로봇에서 다양하고 신뢰할 수 있는 감정 표현성 신체 언어(EBL)를 생성하기 위한 데이터 기반 방법을 개발하기 위해.
• 딥 러닝을 활용하여 정서 차원인 정서의 강도와 각성도를 기반으로 생성된 EBL에 정밀한 제어를 가능하게 하기 위해.
• CVAE로 생성된 EBL이 수동으로 설계된 애니메이션과 동등하게 인간다운 느낌, 생동감, 감정 해석 가능성 있는 것으로 평가되는지 평가하기 위해.
• 감정 조건부 설정이 인간-로봇 상호작용에서 사용자 주목도와 인식에 어떤 영향을 미치는지 조사하기 위해.

제안 방법

• 페퍼 로봇의 수동으로 설계된 EBL 애니메이션(운동 및 눈 LED 색상 시퀀스 포함)의 소규모 데이터셋을 기반으로 조건부 변동형 오토인코더(CVAE)를 훈련시었다.
• 정서의 강도(긍정, 중립, 부정)를 제어하기 위해 스칼라 정서의 강도 레이블을 기반으로 모델을 조건화시켰다.
• CVAE의 잠재 공간의 기하적 성질을 활용하여, 잠재 공간 내 반경을 변화시킴으로써 목표로 하는 각성도 수준을 갖는 새로운 애니메이션을 샘플링하였다.
• 목표로 하는 각성도 수준을 특정 잠재 공간 영역에 매핑하는 샘플링 전략을 적용하여 다양한 맥락에 맞는 애니메이션을 생성하였다.
• 사용자 연구를 통해 모델의 일반화 능력을 검증하였으며, 이는 인지적 품질과 감정의 해석 가능성 평가를 포함한다.
• 순서형 로지스틱 회귀를 사용하여 감정성, 인간다움, 생동감에 대한 사용자 평가를 분석하였으며, 비례 오즈 가정을 검증하였다.

실험 결과

연구 질문

• RQ1 CVAE 모델은 인간다운 느낌과 생동감을 갖춘 감정 표현성 있는 로봇 신체 언어를 생성할 수 있는가?
• RQ2 정서의 강도와 각성도를 조건부 설정을 통해 생성된 EBL 애니메이션에서 얼마나 효과적으로 제어할 수 있는가?
• RQ3 CVAE로 생성된 애니메이션은 수동으로 설계된 애니메이션과 비교해 인간다움과 생동감 측면에서 어떻게 평가되는가?
• RQ4 극단적인 감정 표현(높은 각성도 또는 극단적인 정서의 강도)은 중립 또는 낮은 각성도 표현보다 더 많은 사용자 주목을 끌 수 있는가?
• RQ5 중립과 긍정 정서의 강도, 중간과 낮은 각성도 수준 간의 감정 차이를 인지적으로 구분하는 데에 제한이 있는가?

주요 결과

• 부정 또는 긍정 정서의 강도로 조건화된 애니메이션은 중립 정서의 강도로 조건화된 것보다 감정의 해석 가능성 측면에서 유의미하게 더 높은 평가를 받았다(p < 0.001, 부정 vs 중립; p = 0.01, 긍정 vs 중립).
• 높은 각성도 애니메이션은 중간 또는 낮은 각성도 애니메이션보다 감정적으로 더 강하게 인식되었다(p < 0.001, 높음 vs 중간; p = 0.01, 높음 vs 낮음).
• 중립과 긍정 정서의 강도, 중간과 낮은 각성도 수준 간에 유의미한 차이가 없었으며, 이는 이 쌍 간의 감정 인지적 차이를 구분하는 데에 제한이 있음을 시사한다.
• 생성된 애니메이션은 수동으로 설계된 애니메이션과 비교해 인간다움이나 생동감 측면에서 유의미하게 낮게 평가되지 않았다(모든 경우 p > 0.05, 사전 및 사후 연구 모두).
• 높은 각성도 또는 극단적인 정서의 강도를 띤 애니메이션은 더 많은 사용자 주목을 끌었으며, 이는 강력한 인지적 영향을 미친다는 것을 시사한다.
• 모든 모델에서 비례 오즈 가정이 만족되었으며(p > 0.05), 이는 순서형 로지스틱 회귀 분석의 타당성을 뒷받침한다.