[논문 리뷰] SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation

Wanwei He, Yinpei Dai외 5명|arXiv (Cornell University)|2022. 09. 14.

Topic Modeling인용 수 6

한 줄 요약

SPACE-3는 하나의 트랜스포머 아키텍처 내에서 대화 이해, 정책 기획, 응답 생성을 종합적으로 최적화하는 통합형 반감독 미리 훈련된 대화 모델이다. 이 모델은 의도 예측, 대화 상태 추적, 엔드 투 엔드 모델링을 포함한 여덟 가지 유래 작업 중심 대화 벤치마크에서 최신 기술 성능을 달성하며, 자원이 제한된 조건에서도 강력한 소수 샘플 일반화 성능을 보인다.

ABSTRACT

Recently, pre-training methods have shown remarkable success in task-oriented dialog (TOD) systems. However, most existing pre-trained models for TOD focus on either dialog understanding or dialog generation, but not both. In this paper, we propose SPACE-3, a novel unified semi-supervised pre-trained conversation model learning from large-scale dialog corpora with limited annotations, which can be effectively fine-tuned on a wide range of downstream dialog tasks. Specifically, SPACE-3 consists of four successive components in a single transformer to maintain a task-flow in TOD systems: (i) a dialog encoding module to encode dialog history, (ii) a dialog understanding module to extract semantic vectors from either user queries or system responses, (iii) a dialog policy module to generate a policy vector that contains high-level semantics of the response, and (iv) a dialog generation module to produce appropriate responses. We design a dedicated pre-training objective for each component. Concretely, we pre-train the dialog encoding module with span mask language modeling to learn contextualized dialog information. To capture the structured dialog semantics, we pre-train the dialog understanding module via a novel tree-induced semi-supervised contrastive learning objective with the help of extra dialog annotations. In addition, we pre-train the dialog policy module by minimizing the L2 distance between its output policy vector and the semantic vector of the response for policy optimization. Finally, the dialog generation model is pre-trained by language modeling. Results show that SPACE-3 achieves state-of-the-art performance on eight downstream dialog benchmarks, including intent prediction, dialog state tracking, and end-to-end dialog modeling. We also show that SPACE-3 has a stronger few-shot ability than existing models under the low-resource setting.

연구 동기 및 목표

• 기존의 미리 훈련된 모델이 대화 이해 또는 생성에만 집중할 뿐 둘 다를 동시에 다루지 못하는 한계를 해결한다.
• 작업 중심 대화 시스템의 세 핵심 구성요소—이해, 정책 기획, 생성—을 하나의 종단 간 프레임워크로 통합한다.
• 라벨이 붙은 데이터와 라벨이 없는 데이터를 모두 활용해 효과적인 미리 훈련을 가능하게 하여 자원이 제한된 환경에서의 성능을 향상시킨다.
• 각 모듈에 특화된 미리 훈련 목표를 설계하여 구조화된 의미 모델링과 정책 최적화를 향상시킨다.
• 의도 예측, 소수 샘플 학습 시나리오를 포함한 다양한 유래 작업 중심 대화 작업에서 최신 기술 성능을 달성한다.

제안 방법

• 단일 트랜스포머에 연속적으로 연결된 네 가지 구성요소를 통합한다: 대화 인코딩, 대화 이해, 대화 정책, 대화 생성 모듈.
• 구간 마스킹 언어 모델링을 사용해 대화 인코딩 모듈을 미리 훈련시켜 맥락에 기반한 대화 표현을 학습한다.
• 추가적인 대화 애너테이션을 활용해 트리 유도 반감독 대비 학습 목표를 통해 대화 이해를 향상시켜 구조화된 의미를 모델링한다.
• 정답 응답의 의미 벡터와의 L2 거리 최소화를 통해 정책 모듈을 최적화한다.
• 표준 언어 모델링을 통해 생성 모듈을 미리 훈련시켜 유창하고 맥락에 부합하는 응답을 생성한다.
• 공유 표현을 이해, 기획, 생성 간에 활용하는 다중 작업 학습을 통해 종합적인 미세 조정을 수행한다.

실험 결과

연구 질문

• RQ1 통합형 미리 훈련된 모델이 하나의 아키텍처 내에서 대화 이해, 정책 기획, 응답 생성을 효과적으로 통합할 수 있는가?
• RQ2 라벨이 붙은 데이터와 라벨이 없는 데이터를 함께 미리 훈련하면 유래 작업 중심 대화 작업에서 성능이 어떻게 향상되는가?
• RQ3 특히 정책 모듈이 종단 간 대화 성공률과 응답 품질에 기여하는 정도는 어떠한가?
• RQ4 기존 모델에 비해 자원이 제한된 환경이나 소수 샘플 설정에서 제안된 모델의 일반화 능력은 어느 정도인가?
• RQ5 개별적인 미리 훈련 목표(예: 대비 학습, 구간 마스킹)가 의도 예측 및 대화 상태 추적 성능에 미치는 영향은 어떠한가?

주요 결과

• SPACE-3는 의도 예측(MultiWOZ2.2에서 95.30 F1), 대화 상태 추적(BANKING77에서 97.89 F1), 엔드 투 엔드 대화 모델링(MultiWOZ2.0에서 88.00% 성공률)을 포함한 여덟 가지 유래 작업 중심 대화 벤치마크에서 최신 기술 성능을 달성한다.
• 자원이 제한된 훈련 조건에서 기존 모델보다 뛰어난 소수 샘플 일반화 성능을 보이며, 강력한 일반화 능력을 입증한다.
• 제거 실험 결과, 정책 의미 모델링 손실($L_{psm}$)을 제거할 경우 종단 간 작업에서 성능 저하가 가장 심각하며, 성공률이 4.9% 감소함을 확인하여 이 손실의 핵심적 역할을 입증한다.
• 트리 유도 반감독 대비 학습 목표($L_{scl}$)는 대화 상태 추적 성능 향상에 크게 기여하며, 이 손실을 제거했을 경우 성능 저하가 1.54 F1 포인트 감소함을 확인한다.
• 프롬프트 토큰($p^u$)은 이해 기능에 필수적이다: 이들을 제거하면 다양한 벤치마크에서 의도 예측 성능이 0.65 F1 포인트 저하된다.
• 구간 예측 손실($L_{slm}$)은 의도 예측에 가장 중요하며, $L_{scl}$은 복잡한 다턴 대화 이해 작업에 더 큰 기여를 한다.