[논문 리뷰] A logical model of Theory of Mind for virtual agents in the context of job interview simulation

Marwen Belkaid, Nicolas Sabouret|arXiv (Cornell University)|2014. 02. 20.

Social Robot Interaction and HRI참고 문헌 31인용 수 8

한 줄 요약

이 논문은 직업 면접 시뮬레이션에서 가상 에이전트를 위한 하이브리드 논리 모델 기반의 마음 이론(ToM)을 제안하며, 이는 이론-이론 및 시뮬레이션-이론 패러다임을 모odal 논리와 BDI 기반 추론을 통해 통합하여 사용자의 정서 상태, 정서 상태 및 사회적 관계를 비언어적 신호로부터 추론한다. 평가 결과, ToM 기반의 채용 담당자 에이전트는 비-ToM 대비 유의미하게 높은 정서적 몰입도를 유도하며, 특히 부끄러움, 스트레스 및 집중력이 높아진다. 이는 모델이 자연스럽고 정서적으로 반응하는 상호작용에 미치는 영향을 입증한다.

ABSTRACT

Job interview simulation with a virtual agents aims at improving people's social skills and supporting professional inclusion. In such simulators, the virtual agent must be capable of representing and reasoning about the user's mental state based on social cues that inform the system about his/her affects and social attitude. In this paper, we propose a formal model of Theory of Mind (ToM) for virtual agent in the context of human-agent interaction that focuses on the affective dimension. It relies on a hybrid ToM that combines the two major paradigms of the domain. Our framework is based on modal logic and inference rules about the mental states, emotions and social relations of both actors. Finally, we present preliminary results regarding the impact of such a model on natural interaction in the context of job interviews simulation.

연구 동기 및 목표

• 가상 에이전트의 영향력 있는 정서적 추론을 지원하는 도메인 독립적인 공식적 마음 이론(ToM) 모델을 개발하기 위해.
• 이론-이론 및 시뮬레이션-이론 패러다임을 하나의 추론 프레임워크에 통합하여 보다 현실적인 정서 상태 추론을 가능하게 하기 위해.
• ToM 기반 정서적 추론이 직업 면접 시뮬레이션 상황에서 사용자의 정서적 반응에 미치는 영향을 평가하기 위해.
• 사용자 신호에 기반해 정서적으로 적응할 수 있도록 가상 채용 담당자를 통해 NEET의 훈련 효과를 향상시키기 위해.
• 사용자의 정서 상태에 대한 투명한 추론을 통해 풍부하고 설명 가능한 면접 후 피드백을 제공하기 위해.

제안 방법

• 모델은 모달 논리(모달 논리)를 사용하여 에이전트 및 사용자의 신념, 태도, 목표, 의도를 공식적으로 표현함으로써 정서 상태에 대한 논리적 추론을 가능하게 한다.
• 이론-이론(정서 상태에 대한 규칙 기반 일반 지식)과 시뮬레이션-이론(에이전트 자신의 추론 엔진에 상태를 투영함으로써 시각화된 관점 취득)을 결합한다.
• 에이전트의 추론을 체계화하고 유연한 응답 생성을 지원하기 위해 BDI(Belief-Desire-Intention) 아키텍처를 사용한다.
• 정서는 OCC 평가 이론을 기반으로 모델링되며, 논리적 형태로 규칙가 인코딩되어 있어 이론 독립성과 다른 모델에의 적응 가능성을 확보한다.
• 비언어적 신호(예: 얼굴 표정, 제스처)는 신호 처리를 통해 정서 상태로 매핑되며, 이는 ToM 추론 엔진에 입력된다.
• 모델은 면접 시뮬레이션 플랫폼에 구현되었으며, 세 가지 다른 채용 담당자 프로파일을 제공한다: 공감형(PROFILE_A), 도전적(PROFILE_C), 중립형(PROFILE_B), 각각 ToM 사용 정도가 다름.

실험 결과

연구 질문

• RQ1 이론-이론과 시뮬레이션-이론을 통합한 하이브리드 마음 이론(ToM) 모델를 논리와 BDI 추론을 사용하여 가상 에이전트에 대해 어떻게 공식화할 수 있는가?
• RQ2 가상 채용 담당자에서 ToM 기반 정서적 추론이 직업 면접 시뮬레이션 중 사용자의 정서적 반응에 어느 정도 영향을 미치는가?
• RQ3 ToM 사용 정도가 다른 다양한 채용 담당자 프로파일이 사용자의 정서 강도 및 유형에 어떤 영향을 미치는가?
• RQ4 논리 기반 ToM 모델이 사회 기술 훈련을 위한 심각한 게임에서 신뢰할 수 있고, 적응력 있으며 설명 가능한 상호작용을 지원할 수 있는가?
• RQ5 정서 피드백 루프는 가상 면접 훈련에서 사용자 몰입도와 실제감을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• PROFILE_A(포괄적인 채용 담당자)와 상호작용한 참가자들은 PROFILE_B(중립적 채용 담당자)와 비교해 전반적인 정서, 부끄러움, 집중력 수준이 유의미하게 높았으며, p < 0.05.
• PROFILE_C(도전적 채용 담당자)와 상호작용한 참가자들은 스트레스와 불안 수준이 높았으며, 전반적인 정서 및 집중력 수준도 높았고, p < 0.05 또는 p < 0.01.
• PROFILE_A와 PROFILE_C 간의 부끄러움 수준에 유의미한 차이가 없었으며, 이는 동일한 스트레스 수준이 아니라 서로 다른 정서적 프로필을 의미한다.
• 연구는 ToM 기반 행동—특히 유도된 정서 상태에 대한 추론—이 사용자 정서 몰입도에 측정 가능한 증가를 이끌어낸다는 것을 확인한다.
• 모델의 설명 가능성은 풍부한 면접 후 피드백을 가능하게 하여 코aching의 가치와 사용자 학습을 향상시킨다.
• 현재 GUI는 몰입도를 제한하지만, 결과적으로 TARDIS 플랫폼에 완전 통합될 경우 ToM의 신뢰성 및 상호작용 품질에 대한 영향이 더욱 증폭될 것임을 시사한다.