[논문 리뷰] Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking

Yan Zeng, Jian‐Yun Nie|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 29인용 수 16

한 줄 요약

이 논문은 개방형 어휘 다중 도메인 대화 상태 추적을 위한 순수한 Transformer 기반 프레임워크인 Transformer-DST을 제안한다. 이 프레임워크는 상태 작업 예측과 값 생성을 동시에 최적화하며, 평탄한 인코더-디코더 아키텍처에서 인코더의 은닉 상태를 재사용함으로써 BERT를 두 작업에 대해 효과적으로 공동 미세조정할 수 있도록 한다. 이로 인해 MultiWOZ 2.1에서 55.35%의 공동 목표 정확도를 달성하며, 이는 기존 방법보다 더 빠르고 안정적인 수렴을 보이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We investigate the problem of multi-domain Dialogue State Tracking (DST) with open vocabulary. Existing approaches exploit BERT encoder and copy-based RNN decoder, where the encoder predicts the state operation, and the decoder generates new slot values. However, in such a stacked encoder-decoder structure, the operation prediction objective only affects the BERT encoder and the value generation objective mainly affects the RNN decoder. In this paper, we propose a purely Transformer-based framework, where a single BERT works as both the encoder and the decoder. In so doing, the operation prediction objective and the value generation objective can jointly optimize this BERT for DST. At the decoding step, we re-use the hidden states of the encoder in the self-attention mechanism of the corresponding decoder layers to construct a flat encoder-decoder architecture for effective parameter updating. Experimental results show that our approach substantially outperforms the existing state-of-the-art framework, and it also achieves very competitive performance to the best ontology-based approaches.

연구 동기 및 목표

• 기존의 스택드 인코더-디코더 모델에서 상태 작업 예측과 값 생성의 분리 최적화로 인한 성능 저하 문제를 해결하기 위해.
• 스택드 아키텍처를 제거함으로써 단일 BERT 모델을 상태 예측과 값 생성에 대해 공동 미세조정할 수 있도록 하기 위해.
• 디코더의 자기주의 주의 메커니즘에 인코더의 은닉 상태를 재사용함으로써 인코더의 파라미터 업데이트 효율성을 향상시키기 위해.
• 외부 지식이나 대규모 사전학습을 활용하지 않고도 개방형 어휘, 다중 도메인 대화 상태 추적에서 최신 기술 수준의 성능을 달성하기 위해.
• 기존의 생성 기반 프레임워크와 비교해 더 빠르고 안정적인 수렴을 보여주기 위해.

제안 방법

• 기존의 BERT-RNN 스택드 아키텍처를 대체하기 위해 단일 BERT 모델이 인코더이자 디코더로 기능한다.
• 인코더와 디코더 역할을 구분하기 위해 별도의 입력 표현과 왼쪽에서 오른쪽으로의 자기주의 주의 마스크를 사용한다.
• 현재 대화 턴과 [SLOT] 토큰의 인코더 은닉 상태를 디코더의 자기주의 주의 레이어에 재사용하여 평탄한 아키텍처를 구성한다.
• 가장 관련성이 높은 은닉 상태들(현재 턴과 슬롯 전용 표현)만 재사용함으로써 관련 없는 컨텍스트로 인한 성능 저하를 방지한다.
• 종단 간 학습을 통해 상태 작업 예측과 값 생성 목표를 동시에 최적화한다.
• 단일 옵timizer를 사용하여 두 작업 간 효과적인 파라미터 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 Transformer 기반 프레임워크가 대화 상태 추적에서 상태 작업 예측과 값 생성을 동시에 최적화할 수 있는가?
• RQ2 디코더의 자기주의 주의 메커니즘에 인코더 은닉 상태를 재사용하는 것이 파라미터 업데이트 효율성과 모델 성능을 향상시키는가?
• RQ3 개방형 어휘 DST에서 평탄한 인코더-디코더 구조가 스택드 BERT-RNN 아키텍처를 능가할 수 있는가?
• RQ4 정확도, 수렴 속도, 자원 효율성 측면에서 기존 최신 기술 수준의 접근법과 비교해 모델의 성능은 어떠한가?
• RQ5 최대 성능을 달성하기 위해 디코더에서 재사용할 최적의 인코더 은닉 상태 조합은 무엇인가?

주요 결과

• Transformer-DST는 MultiWOZ 2.1에서 55.35%의 공동 목표 정확도를 달성하며, 이는 이전 최신 기술 수준의 생성 기반 프레임워크를 2.3%포인트 뛰어넘는 성능이다.
• MultiWOZ 2.0에서는 54.64%의 공동 목표 정확도를 기록하여 이전 최신 기술 수준보다 2.9% 향상된 성능을 보였다.
• 기본 프레임워크 대비 학습 반복 수의 절반으로도 최고 성능에 도달하는 수렴을 보였다.
• 두 작업의 공동 최적화 덕분에 더 빠르고 안정적인 학습 동역학을 보였다.
• 현재 대화 턴과 [SLOT] 토큰의 은닉 상태만 재사용할 경우가 가장 뛰어난 성능을 보였으며, 전체 재사용 또는 다른 조합보다 뛰어났다.
• 외부 지식이나 추가 감독 없이 단일 P100 GPU만을 사용했음에도 불구하고, 훨씬 더 큰 모델과 추가 보조 정보를 필요로 하는 접근법과 비교해 성능을 맞추거나 초월했다.