[논문 리뷰] Towards Empathetic Planning

Maayan Shvo, Sheila A. McIlraith|arXiv (Cornell University)|2019. 06. 14.

Multi-Agent Systems and Negotiation참고 문헌 23인용 수 5

한 줄 요약

이 논문은 인지 논리와 인지 계획을 사용하여 인간의 신념과 정서 상태에 부합하는 계획을 생성할 수 있도록 하는 에이전트를 가능하게 하는 '공감적 계획(EmP)' 프레임워크를 소개한다. 사용자 연구를 통해 참가자들은 공감적 에이전트를 비공감적 에이전트보다 훨씬 더 유능하고 공감 능력이 있다고 평가했으며, 87%는 에이전트가 자신의 시각을 이해했다고 응답했고, 82%는 에이전트가 도움이 된다고 평가했다.

ABSTRACT

Critical to successful human interaction is a capacity for empathy - the ability to understand and share the thoughts and feelings of another. As Artificial Intelligence (AI) systems are increasingly required to interact with humans in a myriad of settings, it is important to enable AI to wield empathy as a tool to benefit those it interacts with. In this paper, we work towards this goal by bringing together a number of important concepts: empathy, AI planning, and reasoning in the presence of knowledge and belief. We formalize the notion of Empathetic Planning which is informed by the beliefs and affective state of the empathizee. We appeal to an epistemic logic framework to represent the beliefs of the empathizee and propose AI planning-based computational approaches to compute empathetic solutions. We illustrate the potential benefits of our approach by conducting a study where we evaluate participants' perceptions of the agent's empathetic abilities and assistive capabilities.

연구 동기 및 목표

• 사용자의 신념과 정서 상태를 고려하여 계획을 추론하고 수행할 수 있는 AI 계획 프레임워크를 개발하는 것.
• 공감 대상자의 정서 상태를 표현하기 위해 인지 논리를 사용하여 공감적 계획을 형식화하는 것.
• 인지 계획 도구를 활용한 계산적 접근을 통해 인간이 스스로 생성할 수 있는 계획만큼 효과적인 계획을 생성하는 것.
• 공감적 에이전트가 비공감적 에이전트보다 더 유능하고 정서적으로 지능적인 것으로 인식되는지 평가하는 것.
• 인지 공감을 계획 시스템에 통합하여 AI 보조자와 인간 중심의 사고 간 격차를 해소하는 것.

제안 방법

• 논문은 공감 대상자의 신념과 정서 상태를 표현하기 위해 풍부한 인지 논리 프레임워크를 사용하여 공감적 계획(EmP)을 형식화한다.
• 공감자(에이전트)의 사고 과정을 인지 계획으로 모델링하며, 에이전트는 공감 대상자의 정신 모델에 기반한 계획을 계산한다.
• 해당 방법은 상용 인지 계획 도구를 사용하여, 공감 대상자가 독립적으로 생성할 수 있는 최상의 계획과 동일하거나 그 이상의 효율성을 갖는 해를 계산한다.
• 실제 행동과 의도된 목표 간의 괴리에 대해 추론할 수 있도록 지원하여, 미충족된 필요를 유추할 수 있도록 한다.
• 사용자 연구를 통해 공감적 에이전트(EmP 적용)와 공감이 부족한 에이전트(공통 세계 모델 가정)를 비교 평가한다.
• 공감 능력과 보조 기능을 테스트하기 위해 시나리오를 설계하였으며, 참가자들은 양 측면에서 에이전트를 평가하였다.

실험 결과

연구 질문

• RQ1 AI 에이전트가 자신의 모델과 다를 수 있는 인간의 신념과 정서 상태에 부합하는 계획을 생성할 수 있는가?
• RQ2 사용자들은 인간의 정신 상태를 고려하여 사고하는 AI 에이전트의 공감 능력을 어떻게 평가하는가?
• RQ3 공감적 AI 에이전트는 비공감적 에이전트보다 더 높은 보조 기능 인식을 이끌어내는가?
• RQ4 인지 계획이 인간-AI 상호작용에서 공감 행동을 모델링하고 계산하는 데 효과적으로 사용될 수 있는가?
• RQ5 공감적 계획은 실제 상황에서 계획 품질 향상과 사용자 만족도 향상에 어느 정도 기여하는가?

주요 결과

• 참가자들의 87%가 공감적 에이전트가 자신의 시각을 이해했다고 강하게 동의하거나 동의했으며, 이는 공감 능력에 대한 강한 인식을 시사한다.
• 참가자들의 82%가 에이전트가 자신이 사용자일 경우 도움이 될 것이라고 강하게 동의하거나 동의했으며, 이는 높은 보조 기능 인식을 보여준다.
• 참가자들은 공감적 에이전트를 비공감적 에이전트보다 훨씬 더 높은 공감 수준(평균 M = 4.21)으로 평가했으며, 통계적으로 유의미한 차이가 있었다(t(39) = 12.48, p < 0.01).
• 연구는 공감적 에이전트가 의도된 목표와 실제 행동 간의 차이를 더 잘 구분함을 확인했으며, 잘못된 버스 노선 수정이나 비밀스러운 소통 제안 등에서 유의미한 성능을 보였다.
• 안전, 두려움, 사회적 불편함(예: 광장 공포증, 청각 장애)과 관련된 상황에서는 공감적 에이전트가 사용자의 정서적·인지적 제약을 더 효과적으로 존중하는 계획을 제안했다.
• 결과적으로 인지 계획과 공감 모델링을 통합하면 더 사회적으로 지능적이고 사용자에게 수용 가능한 AI 행동이 가능하다는 것이 입증되었다.