[논문 리뷰] A Fast and Robust BERT-based Dialogue State Tracker for Schema-Guided Dialogue Dataset

Vahid Noroozi, Yang Zhang외 2명|arXiv (Cornell University)|2020. 08. 27.

Topic Modeling참고 문헌 18인용 수 10

한 줄 요약

이 논문은 단일 통과 추론, 전환 간 슬롯 값 전파를 위한 이중 캐리오버 메커니즘, 그리고 인코더 출력의 모델링을 향상시키기 위한 어텐션 기반 디코더 투영을 사용하는 빠르고 강력한 BERT 기반 대화 상태 추적기인 FastSGT를 제안한다. 이 모델은 SGD 개발 세트에서 88.66%의 최고 수준의 공동 목표 정확도를 달성하였고, 테스트 세트에서는 83.12%를 기록하였으며, 계산 및 메모리 비용을 낮게 유지하면서 기준 모델에 비해 상당한 성능 향상을 이룩하였다.

ABSTRACT

Dialog State Tracking (DST) is one of the most crucial modules for goal-oriented dialogue systems. In this paper, we introduce FastSGT (Fast Schema Guided Tracker), a fast and robust BERT-based model for state tracking in goal-oriented dialogue systems. The proposed model is designed for the Schema-Guided Dialogue (SGD) dataset which contains natural language descriptions for all the entities including user intents, services, and slots. The model incorporates two carry-over procedures for handling the extraction of the values not explicitly mentioned in the current user utterance. It also uses multi-head attention projections in some of the decoders to have a better modelling of the encoder outputs. In the conducted experiments we compared FastSGT to the baseline model for the SGD dataset. Our model keeps the efficiency in terms of computational and memory consumption while improving the accuracy significantly. Additionally, we present ablation studies measuring the impact of different parts of the model on its performance. We also show the effectiveness of data augmentation for improving the accuracy without increasing the amount of computational resources.

연구 동기 및 목표

• Schema-Guided Dialogue (SGD) 데이터셋에서 기존 BERT 기반 대화 상태 추적기의 비효율성과 높은 메모리 소비 문제를 해결하기 위해.
• 값이 명시적으로 언급되지 않은 경우에도 대화 전환 및 서비스 간 슬롯 값의 효과적인 캐리오버를 통해 상태 추적 정확도를 향상시키기 위해.
• 다중 헤드 어텐션 투영을 디코더에 통합하여 인코더 출력을 보다 효과적으로 활용하고, 인코더 출력의 모델링을 향상시키기 위해.
• 계산 비용을 증가시키지 않고도 데이터 증강이 모델의 일반화 능력을 향상시키는지 평가하기 위해.
• 캐리오버 메커니즘 및 어텐션 투영과 같은 핵심 구성 요소의 영향을 분리하여 분석하기 위해 수행된 아블레이션 스터디를 수행하기 위해.

제안 방법

• FastSGT는 단일 통과 추론 기반 메커니즘을 사용하여, 한 번의 순방향 전파로 종단 간 상태 추적을 가능하게 하여 학습 및 추론 시간을 단축시킨다.
• 모델은 두 가지 캐리오버 메커니즘을 도입한다: 이전 시스템 전환에서의 슬롯 값을 전파하는 내 서비스 캐리오버와, 서로 다른 서비스 간에 슬롯 값을 전달하는 크로스 서비스 캐리오버이다.
• 디코더에서 다중 헤드 어텐션 투영을 사용하여 모든 인코더 히든 상태에 주의를 기울이며, [CLS] 토큰을 초월한 표현 학습을 향상시킨다.
• SGD 스키마에 포함된 자연어 기술 설명을 활용하여 유사 슬롯 및 서비스 간의 의미 일반화 및 제로샷 전이 능력을 향상시킨다.
• 데이터 증강은 대화 간 동일한 슬롯에서 유효한 다른 값을 무작위로 대체하여 수행되며, 대화 일관성을 유지한다.
• 모델은 SGD 및 SGD+ 데이터셋에서 학습 및 평가되며, 각 구성 요소의 기여도를 분리하기 위한 아블레이션 스터디가 수행된다.

실험 결과

연구 질문

• RQ1 단일 통과 BERT 기반 대화 상태 추적기가 다중 통과 기준 모델에 비해 더 높은 정확도를 달성하면서도 계산 및 메모리 비용을 줄일 수 있는가?
• RQ2 내 서비스 및 크로스 서비스 캐리오버 메커니즘이 대화 전환 및 서비스 간 슬롯 값을 유지하는 데 얼마나 효과적인가?
• RQ3 단지 [CLS] 토큰을 사용하는 것과 비교해 볼 때, 어텐션 기반 디코더 투영이 인코더 출력의 모델링을 얼마나 향상시키는가?
• RQ4 데이터 증강이 학습 스텝 수나 계산 부담을 증가시키지 않으면서도 모델 성능을 향상시키는가?
• RQ5 아블레이션 스터디를 통해 성능 향상에 가장 기여하는 모델 구성 요소는 무엇인가?

주요 결과

• FastSGT는 데이터 증강을 적용한 결과, SGD 개발 세트에서 88.66%의 공동 목표 정확도, 테스트 세트에서는 83.12%를 기록하여 기준 모델을 상당히 앞서며 성능 향상을 이룩하였다.
• 내 서비스 캐리오버 메커니즘이 SGD 데이터셋에서 공동 목표 정확도를 1.2% 향상시켰고, 다중 도메인 대화에서는 크로스 서비스 캐리오버가 1.0% 향상시켰다.
• 어텐션 기반 디코더 투영은 [CLS] 토큰만 사용하는 모델 대비 공동 목표 정확도를 0.5% 향상시켰다.
• 데이터 증강은 SGD 개발 세트에서 공동 목표 정확도를 0.63점, 테스트 세트에서는 1.06점 향상시켰으며, 학습 스텝 수에 변화가 없었다.
• 아블레이션 스터디 결과, 캐리오버 메커니즘이 성능 향상의 주요 원동력으로 작용하였으며, 기준 모델 대비 80% 이상의 향상 기여를 하였다.
• 모델는 높은 효율성을 유지하였으며, 추론 및 학습 시간이 다중 통과 모델보다 현저히 낮아 실시간 배포에 적합하다.