[논문 리뷰] Interpreting social cues to generate credible affective reactions of virtual job interviewers

Hazaël Jones, Nicolas Sabouret외 5명|arXiv (Cornell University)|2014. 02. 20.

Social Robot Interaction and HRI참고 문헌 36인용 수 12

한 줄 요약

이 논문은 사회적 신호—예를 들어 제스처, 시선, 자세—를 사회적 신호 해석(Social Signal Interpretation, SSI) 프레임워크를 통해 해석함으로써 실제 가상의 구인 면접관이 신뢰할 수 있는 정서적 반응을 생성할 수 있는 실시간 파이프라인을 제시한다. 시스템은 사용자의 의사소통 성과를 평가하고, 사용자의 능력에 대한 믿음을 업데이트하며, 마음의 이론(Theory of Mind)에 영감을 받은 모델을 사용해 적응형 정서 반응을 유도함으로써 청소년 대상 가상 구인 면접 훈련의 현실감을 향상시킨다.

ABSTRACT

In this paper we describe a mechanism of generating credible affective reactions in a virtual recruiter during an interaction with a user. This is done using communicative performance computation based on the behaviours of the user as detected by a recognition module. The proposed software pipeline is part of the TARDIS system which aims to aid young job seekers in acquiring job interview related social skills. In this context, our system enables the virtual recruiter to realistically adapt and react to the user in real-time.

연구 동기 및 목표

• 청소년 실업과 NEET(진로를 찾지 못한 청소년)의 사회적 기술 부족 문제를 해결하기 위해 접근 가능하고, 비밀스럽고 반복 가능한 훈련을 제공한다.
• 가상의 구인자가 시뮬레이션된 구인 면접 중 사용자의 행동에 대해 실제적이고 동적인 반응을 보일 수 있도록 개발한다.
• 감지된 비언어적 사회적 신호와 성과 평가 기반으로 가상 구인자의 정서 상태를 실시간으로 적응시킬 수 있도록 한다.
• 심화된 게임에서의 참여도와 학습 성과를 향상시키기 위해 마음의 이론 원칙을 활용해 구인자의 믿음과 정서 반응을 모델링한다.

제안 방법

• 실시간 사회적 신호, 예를 들어 운동 에너지, 제스처, 자세, 눈맞춤, 생리적 특징 등을 탐지하기 위해 SSI(Social Signal Interpretation) 프레임워크를 활용한다.
• 감지된 신호를 바탕으로 성과 지수 $P_d$ 를 계산하며, 사회적 기대에 비해 긍정적(+1), 중립적(0), 부정적(−1)으로 분류한다.
• 사용자에 대한 능력에 대한 믿음 $B_{\text{Human}}(\text{topic}_i)$ 를 업데이트하는 온라인 사용자 모델을 유지하며, 가중치 공식을 사용한다: $B_{\text{Human}}(\text{topic}_i) \leftarrow B_{\text{Human}}(\text{topic}_i) + \alpha \times P_d$.
• 에이전트의 태도(긍정적 또는 부정적)와 사용자의 성과를 기반으로 욕망 $D$ 를 계산하며, 알고리즘 2를 사용해 특정 주제에 대한 의도를 조정한다.
• 목표 선택 전략을 적용하여, 예를 들어 최대 값을 가진 욕망을 선택함으로써 대화 진행을 이끌며 대화의 논리성을 유지한다.
• 가상 구인자의 사용자의 선호도와 정서 상태에 대한 추론을 가능하게 하기 위해 마음의 이론(Theory of Mind, ToM) 접근법을 통합함으로써 더 자연스럽고 맥락에 민감한 반응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 가상의 구인자가 시뮬레이션된 구인 면접 중 실시간으로 설득력 있는 정서적 반응을 어떻게 생성할 수 있는가?
• RQ2 말 외의 사회적 신호—예를 들어 제스처, 자세, 눈맞춤—는 얼마나 실시간으로 사용자의 의사소통 성과를 평가하는 데 활용될 수 있는가?
• RQ3 사회적 신호 해석 기반의 동적 사용자 모델은 가상 구인자의 현실감과 적응 가능성에 어떻게 기여하는가?
• RQ4 마음의 이론에 영감을 받은 믿음과 욕망 시스템은 가상 면접관의 정서적이고 전략적인 행동을 어떻게 형성하는가?
• RQ5 비언어적 행동에서 유도된 성과 지수를 바탕으로 정서 반응은 어떻게 체계적으로 계산하고 업데이트할 수 있는가?

주요 결과

• 시스템은 제스처, 눈맞춤, 자세와 같은 감지된 사회적 신호를 활용해 가상 구인자의 실시간 정서 반응을 성공적으로 계산한다.
• 성과 지수 $P_d$ 는 사용자 행동을 긍정적, 중립적, 부정적으로 정량화할 수 있으며, 믿음과 욕망 업데이트의 기초가 된다.
• 신뢰도 업데이트는 파rameter $\alpha$ 를 사용한 가중치 공식을 통해 동적으로 계산되며, 이는 구인자의 인식 속도와 민감도를 제어할 수 있게 한다.
• 욕망 계산은 에이전트의 태도(긍정적 또는 부정적)에 따라 적응적으로 이루어지며, 이는 정서 반응이 사회적 기대와 상호작용 맥락에 부합하도록 보장한다.
• ToM에 영감을 받은 모델의 통합은 가상 구인자가 사용자의 선호도를 추론하고 행동을 조정함으로써 상호작용의 신뢰성을 향상시킨다.
• 파이프라인은 확장 가능하도록 설계되어 있으며, 표현력과 생리적 신호와 같은 추가적인 신호를 통합할 계획으로, 더 강력하고 현실적인 성능을 향상시킬 예정이다.