[논문 리뷰] Towards Social & Engaging Peer Learning: Predicting Backchanneling and Disengagement in Children.

Mononito Goswami, Minkush Manuja외 1명|arXiv (Cornell University)|2020. 07. 22.

Speech and dialogue systems참고 문헌 39인용 수 10

한 줄 요약

이 논문은 사회적 로봇이 어린이의 참여형 동반자 학습 파트너로 기능할 수 있도록 하기 위해 청취자 이탈 예측(LDP) 및 백채널 반응 범위 예측(BEP)이라는 두 가지 기계학습 모델을 제안한다. 다중모달 시계열 특징(예: 동공 확장, 깜빡임 빈도, 머리 움직임, 음성 프로소디 등)을 사용하여 실시간으로 이탈과 최적의 백채널 반응을 예측하며, 시간적 동역학을 모델링할 경우 성능 향상이 두드러지며, Permutation Feature Importance를 통해 특정 특징(예: 발화자 F0, 동공 확장)이 가장 영향력 있는 것으로 규명되었다.

ABSTRACT

Social robots and interactive computer applications have the potential to foster early language development in young children by acting as peer learning companions. However, studies have found that children only trust robots which behave in a natural and interpersonal manner. To help robots come across as engaging and attentive peer learning companions, we develop models to predict whether the listener will lose attention (Listener Disengagement Prediction, LDP) and the extent to which a robot should generate backchanneling responses (Backchanneling Extent Prediction, BEP) in the next few seconds. We pose LDP and BEP as time series classification problems and conduct several experiments to assess the impact of different time series characteristics and feature sets on the predictive performance of our model. Using statistics & machine learning, we also examine which socio-demographic factors influence the amount of time children spend backchanneling and listening to their peers. To lend interpretability to our models, we also analyzed critical features responsible for their predictive performance. Our experiments revealed the utility of multimodal features such as pupil dilation, blink rate, head movements, facial action units which have never been used before. We also found that the dynamics of time series features are rich predictors of listener disengagement and backchanneling.

연구 동기 및 목표

• 어린이가 동료 스토리텔링 상호작용 중에 언제 이탈하는지 예측할 수 있는 모델을 개발하기 위해.
• 로봇이 실시간으로 생성해야 할 적절한 백채널 반응의 범위를 예측하기 위해.
• 어린이의 참여도 및 백채널 행동에 가장 영향을 미치는 다중모달 및 사회경제적 특징을 특정하기 위해.
• Permutation Feature Importance 및 Partial Dependency Plots을 활용하여 모델의 해석 가능성 향상하기 위해.
• 행동 특징의 시간적 동역학이 참여도 모델링에 있어 예측 능력이 있는지 검증하기 위해.

제안 방법

• 순차적 행동 데이터를 사용하여 LDP 및 BEP를 시계열 분류 문제로 설정하기 위해.
• 비디오 및 오디오 스트림에서 다중모달 특징을 추출하며, 이는 얼굴 운동 단위(AUs), 동공 확장, 깜빡임 빈도, 머리 운동(속도/가속도), 프로소디 특징(예: F0, MFCCs) 포함.
• 특징 표현을 향상시키기 위해 시계열 특성화 기법(예: 통계적 모멘트, 엔트로피, 자기상관) 적용하기 위해.
• P2PSTORY 데이터셋에서 떼어낸 주체를 기준으로 한 이탈 주체 교차검증(LOSO)을 사용하여 랜덤 포레스트 및 ResNet 모델을 훈련하고 평가하기 위해.
• 특징 중요도 평가를 위해 Permutation Feature Importance(PFI)를 사용하고, 특징 효과를 시각화하기 위해 Partial Dependency Plots(PDP)를 활용하기 위해.
• 최고 성능을 보인 BEP 모델을 경량 Flask 애플리케이션으로 구현하여 3D 아바타(Alice)에 배포하여 실시간 백채널 반응 기능을 시연하기 위해.

실험 결과

연구 질문

• RQ1 어린이의 동료 스토리텔링 상황에서 청취자 이탈을 예측하는 데 가장 예측력 있는 다중모달 행동 특징는 무엇인가?
• RQ2 행동 특징의 시계열 동역학은 백채널 반응 범위 및 이탈 예측에 얼마나 잘 작용하는가?
• RQ3 어느 사회경제적 요소가 어린이가 청취 및 백채널 반응에 투자하는 시간에 영향을 미치는가?
• RQ4 다양한 특징 세트 및 시계열 특성화 기법은 모델 성능에 어떤 영향을 미치는가?
• RQ5 어느 개별 특징이 참여도 및 백채널 반응 예측에 가장 영향력이 크며, 이들이 상호작용하는 방식은 어떠한가?

주요 결과

• LDP 모델은 시간 순서가 뒤집힌 데이터로 훈련했을 때 F1이 평균 29.8% 감소하고 AUC가 28.6% 감소하여 시간적 동역학의 예측 능력이 확인되었다.
• BEP 모델은 시간 순서가 뒤집힌 데이터로 훈련했을 때 F1이 평균 36.4% 감소하고 AUC가 25.7% 감소하여 시간 패턴이 백채널 반응 예측에 핵심적임을 시사했다.
• 랜덤 포레스트 모델에서 백채널 반응 예측에 가장 중요한 예측변수는 발화자 F0(음고)였으며, 이어 동공 확장, AU10, AU14, 머리 이동 가속도 순이었다.
• 동공 확장률이 0.20~0.22 범위일 때 청취자의 백채널 반응 빈도가 급격히 증가하여 참여도를 나타내는 핵심 비언어적 신호로 규명되었다.
• ResNet 모델에서는 얼굴 운동 단위(AUs)와 동공 확장이 가장 중요한 예측변수였으며, MFCCs와 같은 프로소디 특징은 상대적으로 영향력이 낮았다.
• 특히 동공 확장, 깜빡임 빈도, 머리 운동을 포함한 다중모달 특징의 사용은 단모달 또는 전통적 특징보다 높은 예측 성능을 보였다.