[논문 리뷰] A Simple but Effective BERT Model for Dialog State Tracking on Resource-Limited Systems

Tuan Lai, Quan Hung Tran외 2명|arXiv (Cornell University)|2019. 10. 28.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

이 논문은 대화 상태 추적(DST)을 위한 단순하고 파rameter 효율적인 BERT 기반 모델을 제안한다. 이 모델은 각 슬롯-값 쌍을 순차적 입력으로 간주하여 새로운 온톨로지 항목으로의 제로샷 일반화를 가능하게 한다. 지식 정복을 적용함으로써, 원래 BERT 모델보다 8배 작고 7배 빠르면서도 정확도 손실가 최소화된 WoZ 2.0 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

In a task-oriented dialog system, the goal of dialog state tracking (DST) is to monitor the state of the conversation from the dialog history. Recently, many deep learning based methods have been proposed for the task. Despite their impressive performance, current neural architectures for DST are typically heavily-engineered and conceptually complex, making it difficult to implement, debug, and maintain them in a production setting. In this work, we propose a simple but effective DST model based on BERT. In addition to its simplicity, our approach also has a number of other advantages: (a) the number of parameters does not grow with the ontology size (b) the model can operate in situations where the domain ontology may change dynamically. Experimental results demonstrate that our BERT-based model outperforms previous methods by a large margin, achieving new state-of-the-art results on the standard WoZ 2.0 dataset. Finally, to make the model small and fast enough for resource-restricted systems, we apply the knowledge distillation method to compress our model. The final compressed model achieves comparable results with the original model while being 8x smaller and 7x faster.

연구 동기 및 목표

• 기존 신경망 DST 모델의 복잡성과 확장성 문제를 해결하기 위해, 각 슬롯 유형별로 별도의 모델이 필요한 경우가 많고, 운영 환경에서 유지보수가 어려운 점을 해결하고자 한다.
• 고정된 온톨로지 제약 조건에서 슬롯-값 예측을 분리함으로써, 재학습 없이도 변화하는 도메인 온톨로지에 동적으로 적응할 수 있도록 하고자 한다.
• 모바일 장치와 같은 자원 제한된 시스템에 적합한 경량이고 효율적인 DST 모델을 개발하고자 한다.
• 기본적인 미세조정된 BERT 모델이 표준 DST 벤치마크에서 복잡하고 철저히 설계된 이전 접근법보다 뛰어난 성능을 낼 수 있음을 보여주고자 한다.

제안 방법

• 모델은 대화 컨텍스트와 후보 슬롯-값 쌍을 하나의 입력 시퀀스로 연결하여 표준 BERT base 인코더로 인코딩한다.
• 각 후보 슬롯-값 쌍은 BERT를 통해 독립적으로 처리되며, [CLS] 토큰의 표현을 사용해 쌍의 관련성 점수를 예측한다.
• 모든 슬롯 유형 간에 파라미터를 공유하므로, 모델의 파라미터 수가 온톨로지 크기와 함께 증가하지 않는다.
• 지식 정복을 적용하여 전체 BERT 모델을 더 적은 층과 은닉 차원을 가진 작은 학생 모델로 압축한다.
• 완전한 모델의 부드러운 레이블을 사용해 학생 모델을 미세조정함으로써 성능를 유지하면서 크기와 추론 시간을 줄인다.
• 최종적으로 압축된 모델은 CPU와 GPU에서 평가되어 실제 운영 환경에서의 효율성 향상을 입증한다.

실험 결과

연구 질문

• RQ1 표준 벤치마크인 WoZ 2.0에서 복잡한 슬롯별 DST 모델보다 단순하고 통합된 BERT 기반 아키텍처가 뛰어난 성능을 낼 수 있는가?
• RQ2 순차적-순차적 방식으로 학습된 BERT 기반 DST 모델이 재학습 없이도 새로운 슬롯-값 쌍으로 일반화 가능한가?
• RQ3 지식 정복을 통해 큰 BERT 모델을 DST에 효과적으로 압축할 수 있는가? 이는 고정밀도 유지와 함께 추론 속도 및 모델 크기의 급격한 향상을 가져오는가?
• RQ4 정확도, 크기, 속도 측면에서 학생 모델의 성능가 다른 최신 기술 모델들과 비교해 어떻게 되는가?

주요 결과

• 완전한 BERT 기반 모델은 WoZ 2.0 테스트 세트에서 공동 목표 정확도 90.5%와 전환 요청 정확도 97.6%를 달성하여 이전 모든 방법을 능가한다.
• 압축된 학생 모델은 공동 목표 정확도 90.4%와 전환 요청 정확도 97.7%를 기록하여 전체 모델의 성능를 그대로 유지하면서도 CPU에서 8배 작고 7배 빠르다.
• 압축된 모델은 DistilBERT(270MB)와 Apple Core ML BERT(220MB)를 포함한 여러 이전 BERT 기반 모델보다 크기가 작고 빠르다.
• CPU에서 압축된 모델은 1회 전환당 0.205초 내에 실행되며, 전체 모델(1.465초)보다 7배 빠르고 DistilBERT(0.579초)보다 3배 더 빠르다.
• 압축된 모델은 파라미터 수가 14M으로 GLAD(17M)보다 적어, DST에 대해 지식 정복의 효과성을 입증한다.
• 모델은 학습 중에 볼 수 없었던 새로운 슬롯-값 쌍으로 일반화되며, 온톨로지가 변경되어도 재학습이 필요하지 않다.