[논문 리뷰] Multi-Domain Dialogue State Tracking - A Purely Transformer-Based Generative Approach.

Yan Zeng, Jian‐Yun Nie|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 29인용 수 8

한 줄 요약

이 논문은 BERT를 인코더이자 디코더로 사용하여 운영 예측과 슬롯 값 생성을 동시에 최적화하는 순수 Transformer 기반의 생성적 프레임워크를 제안한다. 이는 다도메인 대화 상태 추적(다른 도메인)을 위한 오픈 보고서를 갖춘 프레임워크로, 디코더의 자기주의 주의 메커니즘에서 인코더의 은닉 상태를 재사용함으로써 기존의 스택형 인코더-디코더 모델과 비교해 우수한 성능을 달성한다. 이는 최신 기술(SOTA)을 초월하며, 사전 정의된 온톨로지 기반의 접근 방식과도 경쟁 가능한 성능을 보인다.

ABSTRACT

We investigate the problem of multi-domain Dialogue State Tracking (DST) with open vocabulary. Existing approaches exploit BERT encoder and copy-based RNN decoder, where the encoder first predicts the state operation, and then the decoder generates new slot values. However, in this stacked encoder-decoder structure, the operation prediction objective only affects the BERT encoder and the value generation objective mainly affects the RNN decoder. In this paper, we propose a purely Transformer-based framework that uses BERT as both encoder and decoder. In so doing, the operation prediction objective and the value generation objective can jointly optimize our model for DST. At the decoding step, we re-use the hidden states of the encoder in the self-attention mechanism of the corresponding decoder layer to construct a flat model structure for effective parameter updating. Experimental results show that our approach substantially outperforms the existing state-of-the-art framework, and it also achieves very competitive performance to the best ontology-based approaches.

연구 동기 및 목표

• 스택형 인코더-디코더 아키텍처가 다도메인 대화 상태 추적(DST)에서 최적화 목적이 분리되어 있다는 한계를 해결하기 위해.
• 통합된 Transformer 아키텍처를 통해 운영 예측과 슬롯 값 생성의 공동 최적화를 가능하게 하기 위해.
• RNN 기반 디코더와 복사 메커니즘에 의존하지 않고, 평탄하고 종단 간 훈련이 가능한 아키텍처를 선호하기 위해.
• BERT를 인코더이자 디코더로 사용하여 공유 표현 학습을 활용함으로써 오픈 보고서 DST에서 성능을 향상시키기 위해.
• 사전 정의된 슬롯 값 온톨로지가 필요 없이, 최고의 온톨로지 기반 DST 시스템과 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 기존의 스택형 인코더-디코더 설정을 대체하여, BERT가 인코더이자 디코더로 기능하는 순수 Transformer 기반 프레임워크를 제안한다.
• 표현 일致성을 유지하고 효과적인 파라미터 업데이트를 가능하게 하기 위해, 디코더의 자기주의 주의 메커니즘에서 인코더의 은닉 상태를 직접 재사용한다.
• 운영 예측과 값 생성을 하나의 생성 목표로 통합하여, 두 작업의 공동 최적화를 가능하게 한다.
• 별도의 운영 예측 헤드와 RNN 기반 디코더가 필요 없게 되어 아키텍처가 단순화되어 평탄한 Transformer 아키텍처로 구현된다.
• 복사 메커니즘 없이, 순수하게 주의 메커니즘과 자동회귀 디코딩에 의존하는 시퀀스 투 시퀀스 생성 접근 방식을 사용한다.
• 대화 맥락을 인코딩하고 대화 상태를 디코딩하는 데 동일한 BERT 모델을 사용하여 파라미터 공유와 종단 간 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 공유된 BERT 인코더와 디코더를 갖는 순수 Transformer 아키텍처가 기존의 스택형 인코더-디코더 모델보다 다도메인 DST에서 우수한 성능을 낼 수 있는가?
• RQ2 통합 아키텍처에서 운영 예측과 값 생성을 공동 최적화하면, 분리된 목표 함수에 비해 DST 성능이 향상되는가?
• RQ3 평탄하고 종단 간 훈련 가능한 Transformer 모델이 사전 정의된 슬롯 값 온톨로지나 복사 메커니즘에 의존하지 않고도 경쟁 가능한 성능을 낼 수 있는가?
• RQ4 디코더의 자기주의 주의 메커니즘에서 인코더 은닉 상태를 재사용하는 것이 모델 성능과 훈련 효율성에 어떤 영향을 미치는가?
• RQ5 순수하게 생성적이고 오픈 보고서인 접근 방식이 최고의 온톨로지 기반 DST 시스템의 성능을 어느 정도 따라올 수 있는가?

주요 결과

• 제안된 순수 Transformer 기반 프레임워크는 BERT 인코더와 RNN 디코더를 사용하는 기존 최신 기술 프레임워크를 상당히 뛰어넘는 성능을 보였다.
• 사전 정의된 슬롯 값 온톨로지가 없는 오픈 보고서 설정에서도, 최고의 온톨로지 기반 DST 접근 방식과 비교해도 경쟁 가능한 성능을 달성했다.
• 통합 아키텍처를 통해 운영 예측과 값 생성을 공동 최적화함으로써, 분리된 훈련 목표 함수에 비해 성능 향상이 이루어졌다.
• 디코더의 자기주의 주의 메커니즘에서 인코더 은닉 상태를 재사용함으로써 파라미터 효율성과 모델의 일관성이 향상되었다.
• 슬롯 값 보고서 사전 정의 없이도 오픈 보고서 DST에서 강력한 일반화 능력을 보였다.
• 제거 실험 결과는 제안된 아키텍처 설계가 기준 스택형 모델 대비 DST 정확도를 상당히 향상시킨다는 것을 확인했다.