[논문 리뷰] Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation

Ryuichi Takanobu, Qi Zhu외 4명|arXiv (Cornell University)|2020. 05. 15.

Speech and dialogue systems참고 문헌 44인용 수 6

한 줄 요약

이 논문은 MultiWOZ 코퍼스를 사용하여 목표 지향 대화 시스템의 아키텍처 수준 평가를 수행하며, 파이프라인, 공동, 엔드 투 엔드 아키텍처를 비교한다. 파이프라인 시스템이 세분화된 감독 신호를 통해 성능이 뛰어나며, 구성 요소별 평가 지표는 종종 오해를 불러일으키며, 시뮬레이션 평가 결과는 인간 평가와 중간 정도로 상관관계가 있음을 확인하여 초기 개발 단계에서의 활용을 지지한다.

ABSTRACT

There is a growing interest in developing goal-oriented dialog systems which serve users in accomplishing complex tasks through multi-turn conversations. Although many methods are devised to evaluate and improve the performance of individual dialog components, there is a lack of comprehensive empirical study on how different components contribute to the overall performance of a dialog system. In this paper, we perform a system-wise evaluation and present an empirical analysis on different types of dialog systems which are composed of different modules in different settings. Our results show that (1) a pipeline dialog system trained using fine-grained supervision signals at different component levels often obtains better performance than the systems that use joint or end-to-end models trained on coarse-grained labels, (2) component-wise, single-turn evaluation results are not always consistent with the overall performance of a dialog system, and (3) despite the discrepancy between simulators and human users, simulated evaluation is still a valid alternative to the costly human evaluation especially in the early stage of development.

연구 동기 및 목표

• 실제 작업 완수 시나리오에서 다양한 대화 시스템 아키텍처(파이프라인, 공동, 엔드 투 엔드)의 성능을 조사하는 것.
• 구성 요소별 단일 턴 평가 지표와 전체 시스템 수준의 다턴 대화 성능 간 일관성 여부를 평가하는 것.
• 다양한 작업 복잡도에서 인간 평가 대비 시뮬레이션 사용자 평가의 효과성을 평가하는 것.
• 구성 요소 수준의 성능 향상이 다턴 대화에서 시스템 수준의 성공으로 이어지는지 확인하는 것.

제안 방법

• 표준화된 대화 시스템 설정을 사용하여 ConvLab 플랫폼을 기반으로 MultiWOZ 2.1 코퍼스에서 시스템 수준 평가를 수행하였다.
• NLU, DST, 정책, NLG 구성 요소 수준에서 세분화된 감독 신호를 사용하여 파이프라인, 공동, 엔드 투 엔드 모델을 훈련 및 평가하였다.
• 작업 성공률과 대화 품질을 측정하기 위해 시뮬레이션 사용자 상호작용과 인간 평가를 모두 활용하였다.
• 단일 도메인 및 다중 도메인 작업에서의 공동 목표 정확도, 작업 성공률, 시스템 수준 성공률 등의 표준화된 지표를 사용하였다.
• 통계적 측정을 통해 시뮬레이션 평가 결과와 인간 평가 결과 간 상관관계를 분석하였다.
• 단일 도메인에서 다중 도메인 시나리오로의 증가하는 작업 복잡도에 따른 시스템의 내구성(로버스트니)을 평가하였다.

실험 결과

연구 질문

• RQ1 목표 지향 대화 시스템에서 전체 성능이 더 뛰어난 시스템 구성(파이프라인, 공동, 엔드 투 엔드)은 무엇인가?
• RQ2 구성 요소별 단일 턴 평가 결과와 시스템 수준의 다턴 평가 결과 간 일관성이 있는가?
• RQ3 작업 복잡도가 증가함에 따라 시스템 성능은 어떻게 변화하는가? (단일 도메인에서 다중 도메인 작업으로)
• RQ4 시뮬레이션 평가 결과가 인간 평가와 얼마나 상관관계가 있으며, 실제 시스템 성능을 예측하는 데 얼마나 유용한가?

주요 결과

• 각 구성 요소 수준에서 세분화된 감독 신호를 사용하여 훈련한 파이프라인 시스템이 공동 및 엔드 투 엔드 모델보다 전체 작업 성공률에서 일관되게 뛰어났다.
• 구성 요소별 단일 턴 평가 지표는 시스템 수준의 다턴 성능와 일관되지 않은 상관관계를 보였으며, 높은 구성 요소 정확도가 반드시 시스템 수준 성공을 보장하지는 않음을 시사한다.
• 모든 아키텍처에서 작업 복잡도 증가에 따라 성능이 크게 저하되었으며, 특히 다중 도메인 환경에서 두드러졌다.
• 시뮬레이션 평가 결과는 인간 평가와 중간 정도로 상관관계가 있었으며, 인간 성능을 다소 과대평가하는 경향이 있어 초기 개발 단계에서는 타당한 대안으로 활용 가능함을 시사한다.
• 시뮬레이터와 인간 사용자 간의 격차는 목표 변경 및 다양한 응답을 처리할 수 있는 더 현실적인 사용자 시뮬레이터의 필요성을 부각시킨다.
• 엔드 투 엔드 및 공동 모델은 복잡한 대화에 대해 상당히 낮은 내구성을 보였으며, 불확실성 하에서 계획 수립 및 의도 추적 능력에 한계가 있음을 시사한다.