[논문 리뷰] CASPR: A Commonsense Reasoning-based Conversational Socialbot

Kinjal Basu, Huaduo Wang외 5명|arXiv (Cornell University)|2021. 10. 11.

Topic Modeling참고 문헌 22인용 수 6

한 줄 요약

CASPR는 대화 지식 템플릿(CKT)을 활용하여 자동 공리적 추론를 근사화함으로써 인간과 유사한 이해력으로 사용자 발화를 이해하고 응답하는 공리적 추론 기반 대화형 소셜봇이다. 지연 시간과 확장성의 한계가 있음에도 불구하고 CASPR는 아마존 애자스크 챌린지 4에서 뛰어난 성능을 기록하여 종단 간 대화형 에이전트에 공리적 추론을 통합하는 것이 가능하다는 것을 입증하였다.

ABSTRACT

We report on the design and development of the CASPR system, a socialbot designed to compete in the Amazon Alexa Socialbot Challenge 4. CASPR's distinguishing characteristic is that it will use automated commonsense reasoning to truly "understand" dialogs, allowing it to converse like a human. Three main requirements of a socialbot are that it should be able to "understand" users' utterances, possess a strategy for holding a conversation, and be able to learn new knowledge. We developed techniques such as conversational knowledge template (CKT) to approximate commonsense reasoning needed to hold a conversation on specific topics. We present the philosophy behind CASPR's design as well as details of its implementation. We also report on CASPR's performance as well as discuss lessons learned.

연구 동기 및 목표

• 패턴 매칭이 아닌 자동 공리적 추론을 통해 사용자 발화를 이해할 수 있는 소셜봇을 개발하는 것.
• 영화, 음악, 스포츠와 같은 일반 주제에 대해 자연스럽고 맥락에 맞는 대화를 유지할 수 있도록 하는 것.
• 의미적 기반과 진정한 이해가 부족한 순수 데이터 기반 기계학습 기반 챗봇의 한계를 극복하는 것.
• 정답 집합 프로그래밍(ASP)과 s(CASP)를 활용하여 공리적 추론에서 기본 규칙, 예외, 다중 세계를 모델링하는 것.
• 이론적 공리적 추론과 실시간 대화 시스템 간 격차를 메우기 위한 실용적 근사치(예: 대화 지식 템플릿(CKT)) 설계 및 구현

제안 방법

• 특정 주제에 맞는 지식을 체계화하고 조직하기 위해 대화 지식 템플릿(CKT)을 활용하여 사용자 의도 예측 및 응답 기획을 가능하게 함.
• 정답 집합 프로그래밍(ASP)과 s(CASP) 시스템을 활용하여 기본 추론, 예외, 선호도를 모델링하여 인간과 유사한 사고 과정을 모방함.
• 사용자가 언급한 주제에서 관련성 있고 일관된 개념(예: 감독, 줄거리, 수상 내역)을 계산하기 위해 DiscASP 알고리즘을 개발함.
• s(CASP)의 지연 시간과 확장성 문제로 인해 CoBot 프레임워크 내에서 파이썬 기반 근사치로 복잡한 ASP 추론을 근사화함.
• CoBot 프레임워크 내에서 음성 인식, 자연어 처리, 텍스트 생성 모듈을 통합하여 종단 간 시스템을 구축함.
• 기존 지식 기반(예: ConceptNet)이 기본/예외 모델링을 지원하지 않기 때문에 도메인 특화 공리적 지식(예: 영화 사실, 책 정보)을 수동으로 정제하여 추론 지원

실험 결과

연구 질문

• RQ1 ASP와 s(CASP) 기반 자동 공리적 추론이 표면적 패tern을 넘어서 사용자 발화를 이해하는 데 기여할 수 있는가?
• RQ2 예외와 선호도를 포함한 기본 추론을 실시간 대화 시스템에 효과적으로 모델링하고 적용할 수 있는가?
• RQ3 대화 지식 템플릿(CKT)이 소셜봇에서 전체 공리적 추론의 실용적 근사치로 얼마나 효과적으로 기능할 수 있는가?
• RQ4 실세계 대화형 AI 시스템에서 전체 ASP 기반 추론과 근사 구현 간의 성능 상충 관계는 어떠한가?
• RQ5 도메인 특화 작업 봇(예: 부서 안내 봇)는 어떻게 구조화된 공리적 지식과 추론을 활용하여 구축할 수 있는가?

주요 결과

• CASPR는 아마존 애자스크 챌린지 4에서 경쟁력 있는 점수 3을 기록하여 실세계 대화 시스템에 공리적 추론을 통합하는 것이 가능하다는 것을 입증함.
• 대화 지식 템플릿(CKT)의 사용으로 의미 기반의 정확한 지능이 없더라도 사용자 의도 예측 및 효과적인 응답 기획이 가능함.
• 비록 s(CASP)가 비단조화 추론에 이론적으로 유리한 점이 있음에도 불구하고 지연 시간과 확장성 문제로 인해 전체 ASP 통합이 제한되었고, 파이썬 기반 근사치로 대체됨.
• DiscASP 알고리즘이 사용자 주제에서 관련성 있고 일관된 개념(예: 배우, 줄거리, 수상 내역)을 성공적으로 계산하여 맥락이 풍부한 응답 생성을 가능하게 함.
• 기존 지식 기반(예: ConceptNet)이 기본 규칙, 예외, 선호도를 네이티브로 지원하지 않기 때문에 공리적 지식의 수동 정제가 여전히 필수적임.
• 자연어에서 ASP 호환 논리로의 공리적 지식 자동 확보 및 변환을 위한 더 나은 도구가 필요함을 이 프로젝트가 드러냄.