[논문 리뷰] Transparency in Maintenance of Recruitment Chatbots

Kit Kuksenok, Nina Praß|arXiv (Cornell University)|2019. 05. 09.

AI in Service Interactions참고 문헌 5인용 수 6

한 줄 요약

이 논문은 기계학습 기반 채용 챗봇 유지를 위한 투명성 도전 과제를 조사하며, 개발자와 채용 담당자 간의 다리를 놓는 데 핵심적인 역할을 하는 '핵심 연락자' 역할이 필수적임을 밝혀냈다. 높은 초반 정확도(70%)와 70%의 자동 응답률에도 불구하고 지속 가능한 투명성은 기계학습 해석 가능성에 대응할 수 있는 사용자 인터페이스와 분산형 데이터 유지를 위한 전략이 필요하다.

ABSTRACT

We report on experiences with implementing conversational agents in the recruitment domain based on a machine learning (ML) system. Recruitment chatbots mediate communication between job-seekers and recruiters by exposing ML data to recruiter teams. Errors are difficult to understand, communicate, and resolve because they may span and combine UX, ML, and software issues. In an effort to improve organizational and technical transparency, we came to rely on a key contact role. Though effective for design and development, the centralization of this role poses challenges for transparency in sustained maintenance of this kind of ML-based mediating system.

연구 동기 및 목표

• 지속적인 유지보수 기간 동안 기계학습 기반 채용 챗봇의 조직적·기술적 투명성 부족 문제를 해결하기 위해.
• 개발자와 채용 담당자 간을 중재하는 핵심 연락자 역할이 충족하는 정보 수요와 업무를 특정하기 위해.
• 현재 챗봇 시스템이 비기술자 이해관계자 대상 오류 추정 및 설명 기능을 어떻게 지원하지 못하는지 이해하기 위해.
• 핵심 연락자 역할을 분산시키고 기계학습 데이터셋의 장기적 유지보수성을 향상시키기 위한 전략을 탐색하기 위해.
• 분석 및 시각화 도구를 클라이언트 대상 사용자 인터페이스에 통합하여 자연어 처리 시스템 내 기계학습 이해도를 향상시키기 위한 제안을 위해.

제안 방법

• 로지스틱 회귀를 사용하여 1.5K–5K개의 학습 예제와 70% 정확도로 운영된 두 개의 대규모 채용 챗봇 프로젝트에 사례 연구를 수행하였다.
• 3개월 간의 기간 동안 두 프로젝트에서 각각 12%와 23%의 사용자 질의 비율을 기반으로 챗봇 사용을 추적하였다.
• 스프레드시트, 플로우차트, 애니메이션 등의 공유 문서를 설계 및 이관 과정에서 이해관계자 간의 일치를 도모하기 위해 사용하였다.
• 핵심 연락자 역할이 수행하는 데이터 품질 분석 및 오류 탐지 작업을 위해 파이썬 기반 Jupyter 노트북을 구현하였다.
• 채용 담당자가 실시간으로 기계학습이 생성한 응답을 검토, 승인 또는 수정할 수 있도록 대시보드를 개발하였다.
• CHI, InfoVis, VAST 분야의 연구를 탐색하여 기계학습 해석 기법을 챗봇 사용자 인터페이스 내 자연어 처리에 적응시키는 방법을 탐색하였다.

실험 결과

연구 질문

• RQ1 채용 챗봇의 오류는 사용자 경험, 기계학습, 소프트웨어 계층을 어떻게 넘나들며, 왜 진단하고 해결하기 어려운가?
• RQ2 핵심 연락자 역할이 개발자와 채용 담당자 간의 투명성 유지를 위해 충족하는 정보 수요와 수행하는 업무는 무엇인가?
• RQ3 왜 핵심 연락자 역할을 중심화하면 챗봇 유지보수의 장기적 투명성과 확장성에 악영향을 미치는가?
• RQ4 기존 챗봇 플랫폼은 비기술자 사용자를 위해 어떻게 개선되어야 하며, 실행 가능한 투명성을 지원할 수 있는가?
• RQ5 클라이언트 대상 사용자 인터페이스는 기계학습 이해도 향상과 유지보수 책임의 분산화에 어떤 역할을 할 수 있는가?

주요 결과

• 로지스틱 회귀와 언어별 모델을 사용하여 다중 클래스 FAQ 분류에서 70%의 정확도를 달성하였다.
• 입력된 질문 중 70%가 인간의 개입 없이 자동으로 응답되어 초기 모델 성능이 우수함을 시사한다.
• 기계학습이 생성한 응답 중 60%가 수정 없이 채용 담당자에 의해 승인되어 모델 제안에 대해 수동적인 동의를 보였다.
• 높은 정확도에도 불구하고 지속적인 수동 검토와 수동 데이터 품질 점검이 필요하여 핵심 연락자 역할에 대한 의존도가 높음을 드러냈다.
• 핵심 연락자 역할은 개발자의 기술적 노트북과 채용 담당자의 실무적 데이터 요구를 연결하는 핵심적인 통합 작업을 수행하였다.
• 현재 도구들은 기계학습 오류 추정 및 설명 기능에 대한 내장 지원이 부족하여 설계 단계에서 투명성이 후순서로 취급됨을 드러냈다.