[논문 리뷰] Chatbot for admissions

Nikolaos Polatidis|arXiv (Cornell University)|2014. 08. 28.

AI in Service Interactions참고 문헌 1인용 수 6

한 줄 요약

이 논문은 대학의 입학 문의를 자동화하기 위해 설계된 챗봇 시스템을 제시한다. 이 시스템은 키워드 매칭과 문자열 유사도 알고리즘을 조합하여 관련 응답을 생성하고 필요에 따라 웹 자원으로 안내함으로써 행정 업무 부담을 줄인다. 사용자 로그와 피드백을 통한 평가를 통해 시스템은 수동 작업을 줄이면서도 사용성 유지를 성공적으로 달성했다.

ABSTRACT

The communication of potential students with a university department is performed manually and it is a very time consuming procedure. The opportunity to communicate with on a one-to-one basis is highly valued. However with many hundreds of applications each year, one-to-one conversations are not feasible in most cases. The communication will require a member of academic staff to expend several hours to find suitable answers and contact each student. It would be useful to reduce his costs and time. The project aims to reduce the burden on the head of admissions, and potentially other users, by developing a convincing chatbot. A suitable algorithm must be devised to search through the set of data and find a potential answer. The program then replies to the user and provides a relevant web link if the user is not satisfied by the answer. Furthermore a web interface is provided for both users and an administrator. The achievements of the project can be summarised as follows. To prepare the background of the project a literature review was undertaken, together with an investigation of existing tools, and consultation with the head of admissions. The requirements of the system were established and a range of algorithms and tools were investigated, including keyword and template matching. An algorithm that combines keyword matching with string similarity has been developed. A usable system using the proposed algorithm has been implemented. The system was evaluated by keeping logs of questions and answers and by feedback received by potential students that used it.

연구 동기 및 목표

• 입학 담당자가 반복적인 학생 문의에 소요하는 시간과 노력을 줄이기 위해.
• 잠재적 학생들에게 정확하고 즉각적인 응답을 제공하는 자동화된 시스템을 개발하기 위해.
• 실제 사용자 상호작용과 피드백을 통해 시스템 성능을 평가하기 위해.
• 학생과 관리자 모두가 사용할 수 있는 웹 인터페이스를 통합하여 사용성 향상시키기 위해.
• 채팅 봇이 학술 입학 커뮤니케이션에 적용 가능한지의 가능성을 탐색하기 위해.

제안 방법

• 키워드 매칭과 문자열 유사도를 조합한 하이브리드 알고리즘을 개발하여 관련 응답을 식별하였다.
• 입력된 질의와 일치하는 사전 정의된 질문-답변 데이터베이스를 사용하여 매칭을 수행하였다.
• 일치가 발견되면 관련 답변과 필요에 따라 추가 정보를 위한 웹 링크를 반환하였다.
• 최종 사용자와 관리자가 시스템과 상호작용하고 관리할 수 있도록 웹 기반 인터페이스를 구현하였다.
• 평가 및 피드백 수집을 위해 모든 상호작용 기록을 로그로 저장하였다.
• 잠재적 학생과 입학 담당자로부터의 피드백을 바탕으로 알고리즘을 반복적으로 개선하였다.

실험 결과

연구 질문

• RQ1 채팅 봇은 대학 입학 담당자의 수작업 업무를 효과적으로 줄일 수 있는가?
• RQ2 하이브리드 키워드 및 문자열 유사도 접근 방식은 학생의 문의에 얼마나 정확하게 응답하는가?
• RQ3 학술 입학 환경에서 자동화된 챗봇을 통해 달성할 수 있는 사용자 만족도 수준은 어떠한가?
• RQ4 실제 학생의 질의를 다루는 실제 환경에서 시스템은 어떻게 성능을 발휘하는가?
• RQ5 이 시스템은 단순한 FAQ를 넘어서 다양한 복잡한 문의를 처리할 수 있는가?

주요 결과

• 채팅 봇은 routine 상호작용을 자동화함으로써 입학 담당자가 학생의 문의에 응답하는 데 소요되는 시간을 크게 줄였다.
• 키워드 매칭과 문자열 유사도를 조합한 하이브리드 알고리즘이 단순 키워드 매칭보다 관련성과 정확도 면에서 뛰어난 성능을 보였다.
• 사용자 피드백은 시스템이 신속하고 관련성이 높은 응답을 제공하는 능력으로 높은 만족도를 얻었다고 나타냈다.
• 상호작용 로그는 시스템이 인간 간섭 없이도 일반적인 문의의 상당 부분을 정확히 처리했음을 확인시켰다.
• 웹 인터페이스를 통해 학생과 관리자가 시스템을 효과적으로 사용하고 관리할 수 있었다.
• 시스템은 다른 학술 또는 행정적 환경에서도 확장 가능하고 적응 가능함을 입증했다.