[논문 리뷰] ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems

Qi Zhu, Zheng Zhang외 8명|arXiv (Cornell University)|2020. 02. 12.

Topic Modeling참고 문헌 24인용 수 15

한 줄 요약

ConvLab-2는 최신 모델을 사용하여 임무 지향 대화 시스템을 구축하고 평가하며 진단할 수 있도록 해주는 오픈소스 툴킷입니다. 사용자 시뮬레이터와 인간 평가를 통한 엔드 투 엔드 평가를 지원하며, 오류 진단을 위한 분석 도구와 실시간 시스템 디버깅 및 피드백 수집을 위한 인터랙티브 도구를 포함하고 있습니다.

ABSTRACT

We present ConvLab-2, an open-source toolkit that enables researchers to build task-oriented dialogue systems with state-of-the-art models, perform an end-to-end evaluation, and diagnose the weakness of systems. As the successor of ConvLab (Lee et al., 2019b), ConvLab-2 inherits ConvLab's framework but integrates more powerful dialogue models and supports more datasets. Besides, we have developed an analysis tool and an interactive tool to assist researchers in diagnosing dialogue systems. The analysis tool presents rich statistics and summarizes common mistakes from simulated dialogues, which facilitates error analysis and system improvement. The interactive tool provides a user interface that allows developers to diagnose an assembled dialogue system by interacting with the system and modifying the output of each system component.

연구 동기 및 목표

• 임무 지향 대화 시스템의 엔드 투 엔드 개발, 평가 및 진단을 지원하는 오픈소스 툴킷의 부족을 해결하기 위해.
• NLU, DST, 정책, NLG 등 모든 대화 구성 요소에 최신 모델을 통합하는 유일한 프레임워크를 제공하기 위해.
• 모의 및 실제 인간 상호작용을 활용한 자동 평가와 인간 평가를 모두 가능하게 하기 위해.
• 통계 분석 도구를 통한 깊이 있는 오류 분석과 웹 기반 인터페이스를 통한 인터랙티브 디버깅을 통해 오류 원인 규명을 지원하기 위해.
• DSTC9에서 열리는 멀티도메인 임무 지향 대화 챌린지 II의 공식 개발 플랫폼으로 기능하기 위해.

제안 방법

• 대화 시스템과 사용자 시뮬레이터 모두 에이전트로 간주되는 유연한 에이전트 기반 프레임워크를 사용하여 다자간 대화와 모듈식 시스템 조합을 가능하게 합니다.
• BERTNLU, MILU, 규칙 기반 또는 신경망 기반 구성 요소를 NLU, DST, 정책, NLG에 통합하며, 커스텀 모델을 위한 확장성도 제공합니다.
• 시스템과 사용자 시뮬레이터 간의 대화를 시뮬레이션하기 위해 BiSession 클래스를 활용하여 작업 성공률 및 inform F1 등의 메트릭을 사용한 엔드 투 엔드 평가를 가능하게 합니다.
• 1,000개의 모의 대화에서 통계를 추출하고 요약하는 분석 도구를 제공하여 도메인 오분류 및 슬롯 인식 문제와 같은 일반적인 오류를 식별합니다.
• 중간 출력(예: 대화 액트, 믿음 상태)을 표시하고 예측값을 수동으로 수정할 수 있도록 허용하는 인터랙티브 웹 기반 도구를 제공하여 시스템의 병목 현상을 진단합니다.
• 아마존 Mechanical Turk를 통한 인간 평가를 지원하며, 결과를 분석 파이프라인에 통합하여 여러 시스템 구성 간 비교 평가를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 최신 모델을 활용한 임무 지향 대화 시스템의 개발, 평가 및 진단을 단일 툴킷이 어떻게 간소화할 수 있는가?
• RQ2 특히 호텔 및 레스토랑과 같은 복잡한 도메인에서 대화 시스템의 가장 흔한 실패 유형은 무엇인가?
• RQ3 자동 오류 분석이 NLU 오분류나 정책에 기인한 루프와 같은 시스템 장애의 근본 원인을 얼마나 효과적으로 규명할 수 있는가?
• RQ4 인터랙티브 디버깅은 시스템 진단을 얼마나 향상시키고, 모델 개선을 위한 정확한 방향을 어떻게 안내할 수 있는가?
• RQ5 동일한 툴킷이 자동 평가와 인간 평가를 모두 효과적으로 지원하여 종합적인 시스템 벤치마킹을 가능하게 할 수 있는가?

주요 결과

• 데모 시스템은 MultiWOZ 데이터셋에서 1,000개의 모의 대화를 바탕으로 작업 성공률 64.2%와 inform F1 점수 67.0%를 기록했습니다.
• 호텔 도메인이 가장 문제적일 것으로 나타났으며, 절반 이상의 대화 루프가 사용자 요청에 의해 발생한 전화번호 요청 때문이었고, 이는 해당 요청을 처리하는 데 있어 시스템의 취약성을 보여줍니다.
• NLU 구성 요소에서 가장 큰 오류 원인은 도메인 오분류였습니다. 특히 호텔 도메인에서 우편번호, 주소, 전화번호 요청이 다른 도메인으로 잘못 분류되는 경우가 빈번했습니다.
• 호텔 도메인에서 '주차(Parking)' 슬롯을 포함한 대화 액트를 탐지하는 데 어려움이 있었으며, 이는 NLU 모델의 인식 격차를 시사합니다.
• 인터랙티브 도구를 통해 NLU 예측값을 수동으로 수정함으로써 'Recall NLU' 단추가 등장하여 수정된 입력을 사용해 재실행할 수 있게 되었으며, 이는 NLU 오류를 격리하는 데 도구의 유용성을 입증했습니다.
• 비교 분석 결과 BERTNLU를 MILU로 교체함으로써 일부 도메인에서 성능 향상이 이루어졌으며, 이는 툴킷 내에서 모델에 종속되지 않는 평가 및 비교의 가치를 보여줍니다.