[논문 리뷰] Beyond Turing: Intelligent Agents Centered on the User

Maxine Eskénazi, Shikib Mehri외 2명|arXiv (Cornell University)|2019. 01. 20.

Speech and dialogue systems참고 문헌 36인용 수 10

한 줄 요약

이 논문은 지능형 에이전트에 대한 사용자 중심의 패러다임을 제안하며, 에이전트 성능에서 사용자 영향으로의 초점을 이동시킨다. 사용자 반응을 기반으로 시스템 응답을 평가하기 위해 User-Feedback-Driven Assessment (NUF)를 도입하여, 사용자 발화만으로도 사용자 만족도를 예측하는 모델이 65.8%의 정확도와 0.67 MAE를 기록함으로써, 사용자 피드백이 시스템 품질을 평가하는 데 가장 신뢰할 수 있는 지표임을 입증한다.

ABSTRACT

Most research on intelligent agents centers on the agent and not on the user. We look at the origins of agent-centric research for slot-filling, gaming and chatbot agents. We then argue that it is important to concentrate more on the user. After reviewing relevant literature, some approaches for creating and assessing user-centric systems are proposed.

연구 동기 및 목표

• 에이전트 능력에 비해 사용자 경험을 우선시하지 않는 대화 연구의 불균형을 해소하기 위해.
• 성공의 기준으로서 인간처럼 속임수를 놓는 것(예: 튜링 테스트)에 오랫동안 초점을 맞춘 것에 도전하기 위해.
• 전통적 지표보다 사용자 만족도와 실시간 피드백을 우선시하는 평가 방법을 개발하기 위해.
• 시스템 응답 이후의 사용자 피드백이 시스템 품질 평가에 가장 신뢰할 수 있는 신호임을 입증하기 위해.
• 기능적 도구나 대화 모방자로서가 아니라 사용자를 파트너로 삼는 에이전트를 설계하기 위한 프레임워크를 제공하기 위해.

제안 방법

• 사용자의 다음 발화로 시스템 응답 품질을 평가하는 사용자 피드백 기반 평가 프레임워크를 도입한다.
• 시스템 응답 품질을 사용자 반응과 비교하기 위해 삼단계 품질 척도(S_sys < S_usr, S_sys = S_usr, S_sys > S_usr)를 정의한다.
• 1250개의 코그니티브-시스템-사용자(c-x-u) 삼중항이 포함된 DSTC-1 데이터의 일부를 사용하여, 사용자 피드백에 대해 0.515의 Fleiss Kappa를 달 đạt했다.
• 문맥, 시스템 응답, 사용자 발화를 결합한 텍스트에 대해 TF-IDF 가중 n-gram 특징(n=1,2)을 사용하여 분류 및 회귀 모델을 훈련시켰다.
• 정확도와 평균 절대 오차(MAE)를 사용하여 모델 성능을 평가하였으며, 사용자 피드백의 순서적 성격을 고려해 회귀 모델을 우선적으로 사용하였다.
• 사용자 발화만을 입력으로 사용하는 통합 사용자 만족도 모델을 탐색하여, 60.3%의 정확도와 0.81 MAE로 높은 성능을 기록하였다.

실험 결과

연구 질문

• RQ1 어떻게 하면 에이전트 중심 지표보다 사용자 경험을 우선시하는 지능형 에이전트 성능 평가 방식을 개발할 수 있는가?
• RQ2 사용자의 다음 발화가 이전 시스템 응답의 품질을 신뢰할 수 있는 지표로 얼마나 잘 작용하는가?
• RQ3 전체 대화 애너테이션에 비용이 많이 들기 때문에, 사용자 발화만으로도 높은 정확도로 사용자 만족도를 예측할 수 있는 모델을 개발할 수 있는가?
• RQ4 사용자 피드백을 고려하지 않고 시스템 응답을 고립적으로 평가하는 전통적 평가 방법의 한계는 무엇인가?
• RQ5 실시간 피드백에 기반해 사용자 필요에 동적으로 적응하는 에이전트 시스템을 어떻게 설계할 수 있는가?

주요 결과

• 사용자의 다음 발화(u)만을 입력으로 사용하는 모델은 사용자 만족도 예측에서 60.3%의 정확도와 0.81 MAE를 기록하여 강력한 예측 능력을 보였다.
• 문맥, 시스템 응답, 사용자 발화를 모두 사용하는 전체 모델은 65.8%의 정확도와 0.67 MAE를 기록하여, 문맥과 시스템 응답만을 사용하는 모델보다 뛰어난 성능을 보였다.
• S_sys < S_usr(18.6%)와 S_sys > S_usr(35.0%) 사이의 차이는 고립된 평가가 시스템 품질을 거의 두 배로 과대평가한다는 것을 시사한다.
• 사용자 피드백의 순서적 성격을 고려할 때, 회귀 모델이 분류 모델보다 성능이 뛰어나며, 인접한 품질 수준 간의 혼동을 줄였다.
• 사용자 피드백 애너테이션에 대해 0.515의 높은 Fleiss Kappa를 기록하여, NUF 지표의 신뢰성과 다수 애너테이터 간 일致성이 확인되었다.
• 사용자의 다음 발화를 시스템 품질의 신호로 사용할 경우, 전통적인 문맥 전용 또는 응답 전용 평가보다 더 정확하고 사용자 중심적인 평가가 가능하다.