[논문 리뷰] Efficient Task-Oriented Dialogue Systems with Response Selection as an Auxiliary Task

Radostin Cholakov, Todor Kolev|arXiv (Cornell University)|2022. 08. 15.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 T5 기반의 임무 지향 대화 시스템을 위한 두 가지 응답 선택 보조 작업을 제안한다: 참조 응답과 혼동 응답을 구분하고, 합성 응답과 참조 응답을 구분하는 것이다. 기준 모델보다 3배 적은 102–105M 파라미터를 사용함에도 불구하고, MultiWOZ 2.1에서 각각 107.4와 108.3의 최고 성능을 기록하여 더 큰 T5-base 모델를 능가하면서도 추론 속도를 유지한다.

ABSTRACT

The adoption of pre-trained language models in task-oriented dialogue systems has resulted in significant enhancements of their text generation abilities. However, these architectures are slow to use because of the large number of trainable parameters and can sometimes fail to generate diverse responses. To address these limitations, we propose two models with auxiliary tasks for response selection - (1) distinguishing distractors from ground truth responses and (2) distinguishing synthetic responses from ground truth labels. They achieve state-of-the-art results on the MultiWOZ 2.1 dataset with combined scores of 107.5 and 108.3 and outperform a baseline with three times more parameters. We publish reproducible code and checkpoints and discuss the effects of applying auxiliary tasks to T5-based architectures.

연구 동기 및 목표

• 모델 크기를 줄임으로써 임무 지향 대화 시스템의 효율성과 성능을 향상시키되, 생성 품질을 손상시키지 않도록 하는 것.
• 응답 선택을 보조 작업으로 사용할 경우 T5 기반 아키텍처에서 생성 성능 향상 여부를 조사하는 것.
• 대규모 사전 훈련된 모델을 사용한 대화 생성에서 과적합과 파라미터 비효율성 문제를 해결하는 것.
• 다양한 응답 선택 전략이 모델 일반화 능력과 추론 속도에 미치는 영향을 탐색하는 것.
• 보조 학습을 통해 대규모 대화 모델의 재현 가능하고 효율적인 대안을 제공하는 것.

제안 방법

• 모델은 대화 기록과 사용자 발화를 모두 처리하는 공유 인코더를 갖는 T5-small 인코더-디코더 아키텍처를 백본으로 사용한다.
• 두 개의 보조 응답 선택 헤드를 도입한다: 하나는 인코딩된 표현을 사용해 참조 응답과 혼동 응답을 분류한다.
• 두 번째 분류기는 다른 기반으로, 디코더가 생성한(합성된) 응답과 참조 응답을 구분하며, 이산 토큰 생성을 다룰 수 있도록 미분 가능화된 방식을 사용한다.
• 훈련 목표는 믿음 상태 생성, 응답 생성, 스펜 매칭, 응답 선택 손실을 동일한 가중치(α=β=γ=δ=0.5)로 조합한다.
• 훈련 중에 온도 스케일링을 적용하여 미분 가능한 응답 선택 헤드의 안정성을 높이며, τ 값을 4에서 0.8로 점차 감소시킨다.
• 추론 시에는 응답 선택 헤드를 제거하여 원래 T5 기반의 생성 속도와 저장 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 응답 선택을 보조 작업으로 사용할 경우, T5 기반의 임무 지향 대화 시스템에서 생성 성능 향상이 가능할까?
• RQ2 보조 응답 선택 기능이 있는 더 작은 T5-small 백본이, 이러한 기능이 없는 더 큰 T5-base 모델보다 성능이 뛰어날까?
• RQ3 혼동 응답 분류와 합성 응답 분류라는 서로 다른 응답 선택 전략이 모델 성능과 훈련 동역학에 어떤 영향을 미칠까?
• RQ4 보조 작업을 통해 종합적인 대화 시스템에서 과적합을 줄이고 일반화 능력을 향상시킬 수 있을까?
• RQ5 자기회귀적 토큰 생성의 비미분 성격을 감안할 때, 미분 가능한 응답 선택 헤드가 실제로 효과가 있을까?

주요 결과

• 미분 가능한 응답 선택 헤드를 갖는 모델(RSTOD 버전 2)은 MultiWOZ 2.1에서 총점 108.34를 기록하여, T5-base 기반의 기준 모델(MTTOD, 107.56)을 능가했으며, 파라미터 수가 3배 적은 점을 감안할 때 놀라운 성능을 보였다.
• 혼동 응답 분류를 사용한 모델(버전 1)은 107.39점을 기록했으며, T5-small 기준 모델(103.99)을 초월했고, 더 큰 T5-base 모델의 성능에 가까워졌다.
• 두 모델 모두 각각 102.2M 및 105.5M 파라미터를 사용했고, T5-base 기준 모델의 360.9M 파라미터보다 크게 줄어들어 높은 파라미터 효율성을 입증했다.
• 추론 속도와 모델 크기는 T5-small 기준 모델과 동일했다. 응답 선택 헤드는 추론 시 제거되기 때문이다.
• 미분 가능한 응답 선택 헤드 덕분에 생성된 응답을 통해 효과적인 역전파가 가능했으며, 온도 릴랙세이션을 통해 이산 토큰 생성의 비미분 성격을 극복했다.
• 결과적으로 보조 응답 선택 작업이 T5 기반 아키텍처에서 생성 품질과 견고성을 향상시키는 데 효과가 있음을 확인했으며, 이는 이전에 연구가 부족했던 분야임에도 불구하고 성립한다.