[논문 리뷰] Personalized Chatbot Trustworthiness Ratings

Biplav Srivastava, Francesca Rossi외 2명|arXiv (Cornell University)|2020. 05. 13.

AI in Service Interactions참고 문헌 27인용 수 6

한 줄 요약

이 논문은 사용자가 지정한 우선순위 순서에 따라 편향, 폭력적 언어, 정보 泄露, 대화 복잡성 등의 윤리적 문제를 다각도로 평가하는 개인화된 챗봇 신뢰성 평가 체계를 제안한다. 이 방법은 각 문제에 대해 모듈러하고 독립적인 평가 구성 요소를 사용하며, 사용자 정의 가능한 함수를 통해 통합함으로써 챗봇의 학습 데이터나 아키텍처에 접근하지 않아도 개인 맞춤형 신뢰 평가가 가능하도록 한다.

ABSTRACT

Conversation agents, commonly referred to as chatbots, are increasingly deployed in many domains to allow people to have a natural interaction while trying to solve a specific problem. Given their widespread use, it is important to provide their users with methods and tools to increase users awareness of various properties of the chatbots, including non-functional properties that users may consider important in order to trust a specific chatbot. For example, users may want to use chatbots that are not biased, that do not use abusive language, that do not leak information to other users, and that respond in a style which is appropriate for the user's cognitive level. In this paper, we address the setting where a chatbot cannot be modified, its training data cannot be accessed, and yet a neutral party wants to assess and communicate its trustworthiness to a user, tailored to the user's priorities over the various trust issues. Such a rating can help users choose among alternative chatbots, developers test their systems, business leaders price their offering, and regulators set policies. We envision a personalized rating methodology for chatbots that relies on separate rating modules for each issue, and users' detected priority orderings among the relevant trust issues, to generate an aggregate personalized rating for the trustworthiness of a chatbot. The method is independent of the specific trust issues and is parametric to the aggregation procedure, thereby allowing for seamless generalization. We illustrate its general use, integrate it with a live chatbot, and evaluate it on four dialog datasets and representative user profiles, validated with user surveys.

연구 동기 및 목표

• 편향, 폭력적 언어, 프라이버시, 소통 복잡성과 같은 윤리적 문제에 대해 개인 사용자의 우선순위를 반영할 수 있는 챗봇 신뢰성 평가 방법을 개발하는 것.
• 챗봇의 학습 데이터나 내부 아키텍처에 접근하지 않고도 작동하는 평가 방법론을 개발하여 블랙박스 시스템 평가가 가능하도록 하는 것.
• 다양한 신뢰 문제에 대한 사용자 정의된 선호도를 기반으로 통합하는 모듈러하고 확장 가능한 프레임워크를 구축하는 것.
• 실제 챗봇과 사용자 설문 조사와의 통합을 통해 접근법의 실용성을 검증하고, 다양한 대화 데이터셋과 사용자 프로필에서의 적용 가능성을 입증하는 것.

제안 방법

• 각 신뢰 문제(예: 폭력적 언어, 편향, 정보 泄露, 대화 복잡성)에 대해 도메인별로 특화된 별도의 평가 모듈을 사용하며, 각 모듈은 챗봇 응답에 대해 독립적으로 작동한다.
• 각 평가 모듈은 공격적 언어의 유무나 의미적 일관성 등의 정의된 기준에 따라 발언에 0에서 1 사이의 점수를 할당한다.
• 사용자 선호도는 중요도 순서로 정렬된 신뢰 문제 목록으로 모델링되며, 이는 통합 과정에서 개별 문제 점수의 가중치로 사용된다.
• 통합 함수는 가중치가 부여된 점수들을 조합하여 최종 개인화된 신뢰 평가 점수를 생성하며, 이 방법은 임의의 수의 신뢰 문제에 대해 파arametric하고 확장 가능한 방식으로 설계되어 있다.
• 시스템은 챗봇의 REST API와 통합 가능한 명령줄 기반 유틸리티로 구현되어 실시간 상호작용 중에 평가가 가능하도록 한다.
• 문장 수준와 세션 수준의 평가를 모두 지원하며, 특정 문제(예: 레이블이 부여된 폭력적 언어 데이터)를 위한 선택적 데이터 생성기까지 제공하여 일관성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 학습 데이터나 아키텍처에 접근하지 않으면서도 개인 사용자의 우선순위를 반영할 수 있는 챗봇 신뢰성 평가 체계는 어떻게 설계할 수 있는가?
• RQ2 다양한 윤리적 문제에 대해 독립적인 모듈러 평가 구성 요소를 어떻게 통합하여 사용자 맞춤형 통합 신뢰 점수로 만들 수 있는가?
• RQ3 제안된 방법은 다양한 사용자 프로필과 대화 도메인에서 실제 챗봇 상호작용의 신뢰 관련 문제를 얼마나 효과적으로 식별할 수 있는가?
• RQ4 실제 챗봇과 사용자 피드백을 통해 평가 체계를 실질적으로 구현하고 검증할 수 있는가? 이는 타당성과 실용성을 입증하는가?

주요 결과

• 개인화된 평가 프레임워크는 사용자 프로필에 따라 서로 다른 신뢰 점수를 성공적으로 생성하여, 폭력적 언어나 정보 泄露 등의 문제에서 각 사용자의 고유한 우선순위를 반영했다.
• 오픈 정부 데이터를 활용한 실시간 인도 철도 챗봇과의 통합을 통해 실용성과 타당성이 입증되었으며, REST 인터페이스를 통한 실시간 신뢰 평가가 가능했다.
• 사용자 설문 조사 결과는 선택된 신뢰 문제의 관련성과 사용자들이 자신의 윤리적 우려에 맞게 맞춤형 신뢰 평가를 선호한다는 점을 확인했다.
• 이 방법은 다양한 데이터셋 간 챗봇 행동의 의미 있는 차이를 드러내었으며, 예를 들어 특정 대화 맥락에서 폭력적 언어 점수가 높게 나타나는 등 윤리적 리스크에 민감하게 반응함을 보였다.
• 모듈러 설계 덕분에 설명 가능성이나 정확성과 같은 추가적인 신뢰 문제로의 확장이 원활하게 가능하여, 초기 4개 문제를 초월한 확장성과 적응성을 입증했다.
• 다양한 대화 데이터셋에서 일관되고 해석 가능한 평가 점수를 생성하여, 챗봇 상호작용에서 윤리적 리스크를 탐지하는 데 있어 신뢰성과 안정성을 확인했다.