[논문 리뷰] BERT-DST: Scalable End-to-End Dialogue State Tracking with Bidirectional Encoder Representations from Transformer

Guan-Lin Chao, Ian Lane|arXiv (Cornell University)|2019. 07. 05.

Topic Modeling참고 문헌 22인용 수 11

한 줄 요약

BERT-DST는 BERT의 문맥 기반 표현을 사용하여 대화 문맥에서 슬롯 값들을 직접 예측하는 엔드 투 엔드 대화 상태 추적기를 제안한다. 이는 후보 생성이 필요 없도록 하여, 미리 정의된 후보 목록에 의존하지 않는다. 모든 슬롯에 대해 인코더 파라미터를 공유하고 슬롯 값 드롭아웃을 적용함으로써, Sim-M에서 80.1%의 최고 성능을 기록하며, Sim-R에서는 89.6%의 성능을 달성하여 미지의 온톨로지 및 미리 보지 못한 슬롯 값에 대한 뛰어난 확장성을 입증한다.

ABSTRACT

An important yet rarely tackled problem in dialogue state tracking (DST) is scalability for dynamic ontology (e.g., movie, restaurant) and unseen slot values. We focus on a specific condition, where the ontology is unknown to the state tracker, but the target slot value (except for none and dontcare), possibly unseen during training, can be found as word segment in the dialogue context. Prior approaches often rely on candidate generation from n-gram enumeration or slot tagger outputs, which can be inefficient or suffer from error propagation. We propose BERT-DST, an end-to-end dialogue state tracker which directly extracts slot values from the dialogue context. We use BERT as dialogue context encoder whose contextualized language representations are suitable for scalable DST to identify slot values from their semantic context. Furthermore, we employ encoder parameter sharing across all slots with two advantages: (1) Number of parameters does not grow linearly with the ontology. (2) Language representation knowledge can be transferred among slots. Empirical evaluation shows BERT-DST with cross-slot parameter sharing outperforms prior work on the benchmark scalable DST datasets Sim-M and Sim-R, and achieves competitive performance on the standard DSTC2 and WOZ 2.0 datasets.

연구 동기 및 목표

• 학습 중에 볼 수 없었던 슬롯 값이 존재할 수 있는 동적 또는 미지의 온톨로지에서 대화 상태 추적 문제를 해결하기 위해.
• n-그램이나 별도의 슬롯 태거와 같은 후보 생성 모듈에 의존하는 것을 제거하여, 비효율적이거나 오류 전파에 취약한 문제를 해결하기 위해.
• 문맥 기반 표현을 활용해 대화 문맥에서 직접 슬롯 값을 추출하는 엔드 투 엔드 학습을 가능하게 하기 위해.
• 파라미터 공유와 슬롯 값 드롭아웃을 통해 미리 보지 못한 슬롯 값에 대한 일반화 능력을 향상시키기 위해.
• 실제 응용에서의 확장성과 함께 기준 데이터셋에서 뛰어난 성능을 달성하면서도, 실세계의 개방형 작업 중심 대화에 적합한 확장성을 유지하기 위해.

제안 방법

• 다중 라운드 대화에서 문맥 기반 단어 및 문장 표현을 생성하기 위해 BERT를 대화 문맥 인코더로 활용한다.
• 모든 슬롯에 대해 동일한 BERT 인코더를 공유함으로써 모델 파라미터를 감소시키고 슬롯 간 지식 전이를 가능하게 한다.
• 각 슬롯에 대해 분류 헤드를 사용하여 'none', 'dontcare', 또는 대화 문맥 내의 구간을 예측한다.
• 대화 문맥 내에서 슬롯 값의 시작 및 종료 위치를 식별하기 위해 구간 예측 헤드를 활용한다.
• 학습 중에 슬롯 값 드롭아웃을 적용하여, 모델이 문맥 패턴에 의존하도록 유도함으로써, 미리 보지 못한 슬롯 값에 대한 일반화 능력을 향상시킨다.
• 분류 헤드와 구간 예측 헤드를 동시에 최적화하여, 대화 상태 추적 작업에 대해 BERT 기반 모델을 엔드 투 엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 BERT 기반 엔드 투 엔드 대화 상태 추적기가 사전에 생성된 후보 목록에 의존하지 않고도 슬롯 값을 효과적으로 추출할 수 있는가?
• RQ2 미지 또는 미리 보지 못한 슬롯 값이 존재하는 상황에서 슬롯 간 파라미터 공유가 모델 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 슬롯 값 드롭아웃이 OOV(Out-of-Vocabulary) 슬롯 값에 대한 일반화 능력을 제로샷 또는 팔십샷 설정에서 얼마나 향상시키는가?
• RQ4 확장 가능한 DST 기준 데이터셋(Sim-M/Sim-R)과 표준 기준 데이터셋(DSTC2/WOZ 2.0) 모두에서 BERT-DST는 이전 최고 성능 모델과 비교해 어떻게 성능을 내는가?
• RQ5 학습 데이터어휘에 포함되지 않은 값이라도, BERT의 문맥 기반 표현이 슬롯 값 추출을 위한 의미 패턴을 효과적으로 포착할 수 있는가?

주요 결과

• 파라미터 공유를 적용한 BERT-DST(BERT-DST_SS)는 Sim-M 및 Sim-R 데이터셋 모두에서 LU 기반 후보 생성 모델보다 뛰어난 성능을 기록한다.
• 슬롯 값 드롭아웃을 적용한 BERT-DST(BERT-DST_PS)는 Sim-M 및 Sim-R에서 BERT-DST_SS보다 통계적으로 유의미한 성능 향상을 보이며, p < 0.01이다.
• Sim-M 데이터셋에서는 연합 목표 정확도가 80.1%에 도달했고, Sim-R에서는 89.6%에 도달하여 확장 가능한 DST 기준 데이터셋에서 최고 성능을 확립했다.
• 성능 향상은 특히 OOV 비율이 높은 슬롯에서 두드러지게 나타나며, Sim-M의 'movie' 슬롯과 Sim-R의 'restaurant_name' 슬롯에서 효과를 입증했다. 이는 OOV 일반화에 슬롯 값 드롭아웃이 효과적임을 확인한다.
• 표준 기준 데이터셋에서 BERT-DST_PS는 DSTC2에서 69.3%, WOZ 2.0에서 87.7%의 경쟁력 있는 성능을 기록하여, 이 데이터셋에 최적화되지 않았음에도 불구하고 뛰어난 일반화 능력을 보였다.
• 제거 실험 결과, 슬롯 값 드롭아웃은 Sim-M에서 특히 효과적이며, 이는 영화 슬롯의 OOV 비율이 100%이기 때문이다. 이 경우 높은 드롭아웃 비율일수록 성능 향상이 뚜렷하다.