[논문 리뷰] Building Markovian Generative Architectures over Pretrained LM Backbones for Efficient Task-Oriented Dialog Systems

Hong Liu, Yucheng Cai외 3명|arXiv (Cornell University)|2022. 04. 13.

Speech and dialogue systems인용 수 5

한 줄 요약

이 논문은 GPT2와 T5와 같은 사전 훈련된 언어 모델(PLM) 기반 아키텍처를 활용하여 효율적인 임무 지향 대화 시스템을 위한 마르코프 생성 아키텍처(MGA)를 제안한다. MGA는 이전 대화 상태(마르코프 상태)와 현재 사용자 발화에만 조건을 부여함으로써 메모리와 계산 비용을 줄이면서도 성능을 유지한다. 풍부한 자원과 자원이 제한된 환경 모두에서 MGA는 비마르코프 기반 모델과 유사하거나 이를 초월하는 훈련 효율성과 성능을 보이며, 특히 데이터 부족 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Recently, Transformer based pretrained language models (PLMs), such as GPT2 and T5, have been leveraged to build generative task-oriented dialog (TOD) systems. A drawback of existing PLM-based models is their non-Markov architectures across turns, i.e., the whole history is used as the conditioning input at each turn. First, this brings inefficiencies in memory and computation. Furthermore, using the whole history increases model complexity and may hurt the training efficiency, especially when facing small amounts of labeled training data (the low-resource setting). In this paper, motivated by the observation that dialog states could be viewed as Markov states, we propose to build Markovian Generative Architectures (MGA) over PLM backbones for efficient TOD systems. Experiments on MultiWOZ2.1 show that in the rich-resource setting, the proposed Markov models reduce memory and time costs without performance degradation; in the low-resource setting, the training efficiency of the Markov models is more significant.

연구 동기 및 목표

• PLM 기반 임무 지향 대화 시스템에서 비마르코프 아키텍처로 인한 메모리, 계산, 훈련 비효율성을 해결하기 위해.
• 대화 상태를 마르코프 상태로 모델링할 경우, 더 짧은 컨텍스트로도 효율적이고 효과적인 생성이 가능한지 조사하기 위해.
• 특히 레이블이 제한된 자원이 제한된 환경에서 훈련 효율성을 향상시키기 위해.
• 대화 상태가 이전 대화를 압축 요약한 것으로서 효과적인 응답 생성을 위한 충분한 마르코프 상태가 될 수 있는지 검증하기 위해.
• 모델 복잡도를 줄이면서도 강력한 성능을 유지하는 확장 가능하고 효율적인 아키텍처를 개발하기 위해.

제안 방법

• 현재 사용자 발화와 이전 대화 상태에만 기반하여 응답 생성을 조건화하는 마르코프 생성 아키텍처(MGA)를 제안하며, 전체 대화 이력은 사용하지 않는다.
• GPT2와 T5와 같은 사전 훈련된 언어 모델(PLM)을 백본으로 사용하고, 최소한의 컨텍스트인 (사용자 발화, 이전 대화 상태, 이전 시스템 응답) 기반으로 응답 생성을 위한 미세조정을 수행한다.
• 대화 상태를 이력의 압축된 요약으로 정의하여 마르코프 결정 과정에서의 마르코프 성질과 일치시킨다.
• 모델이 가장 최근의 대화 상태와 현재 입력에만 주목하도록 아키텍처를 설계하여, 중복된 이전 대화 턴에 대한 어텐션을 줄인다.
• 변동 학습(variational learning)을 활용해 비라벨 데이터를 활용할 수 있도록, 지도 학습 및 준지도 학습 설정 모두에서 모델을 훈련시킨다.
• 전체 이력을 조건 입력으로 사용하는 비마르코프 기반 모델(예: UBAR, MTTOD)과 MGA를 비교한다.

실험 결과

연구 질문

• RQ1 풍부한 자원 환경에서 MGA 모델은 비마르코프 PLM 기반 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 자원이 제한된 환경에서 MGA 모델은 비마르코프 모델보다 훈련 효율성이 뛰어나게 성능을 높일 수 있는가?
• RQ3 가장 최근의 대화 상태만을 컨텍스트로 사용할 경우, 정확한 응답 생성을 위한 충분한 정보를 유지할 수 있는가?
• RQ4 MGA의 어텐션 패턴은 비마르코프 모델과 어떻게 다를지, 그리고 더 효율적인 정보 흐름을 반영하는가?
• RQ5 지도 학습 및 준지도 학습 환경 모두에서 MGA는 샘플 효율성을 향상시킬 수 있는가?

주요 결과

• 풍부한 자원 환경에서 MGA-GPT2와 MGA-T5는 엄격한 유의성 검정을 통과한 SOTA 비마르코프 모델(UBAR 및 MTTOD)과 유사한 성능을 달성한다.
• 비마르코프 기반 모델 대비 MGA 모델은 성능 저하 없이 메모리와 계산 비용을 크게 감소시킨다.
• 자원이 제한된 환경(10% 및 20% 레이블 데이터)에서 MGA는 지도 학습 및 준지도 학습 모두에서 비마르코프 모델을 일관되게 능가한다.
• 어텐션 시각화 결과 MGA-GPT2는 b₄ 생성 시 가장 최근의 대화 상태 b₃에 집중하는 반면, UBAR와 같은 비마르코프 모델은 중복된 이전 대화 상태까지 산산이 산산이 흩어져 어텐션을 분산시킨다.
• MGA의 어텐션 패턴은 이전 대화 상태가 현재 대화 상태를 통해 암묵적으로 포괄되고 있음을 시사하며, 실질적으로 마르코프 가정이 타당함을 검증한다.
• 샘플 효율성 향상 효과는 자원이 제한된 상황에서 더욱 두드러지게 나타나 MGA의 뛰어난 샘플 효율성을 입증한다.