[논문 리뷰] SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding

Wanwei He, Yinpei Dai외 7명|arXiv (Cornell University)|2022. 09. 14.

Speech and dialogue systems인용 수 15

한 줄 요약

SPACE-2는 작업 중심 대화 이해를 위한 트리 구조적 준지도 학습 대비 학습 프레임워크를 제안하며, 일반적인 의미적 트리 구조(_STS)와 다중 시각 스코링 함수를 통해 라벨이 붙은 대화 애너테이션을 활용하여 표현 학습을 향상시킨다. 라벨이 붙은 대화 간의 계층적 의미 유사도를 모델링하고 대규모 비라벨 데이터에서 공동으로 사전 훈련함으로써, SPACE-2는 다섯 가지 대화 이해 작업과 일곱 개의 데이터셋에서 DialoGLUE 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 소수의 샘플이 있는 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Pre-training methods with contrastive learning objectives have shown remarkable success in dialog understanding tasks. However, current contrastive learning solely considers the self-augmented dialog samples as positive samples and treats all other dialog samples as negative ones, which enforces dissimilar representations even for dialogs that are semantically related. In this paper, we propose SPACE-2, a tree-structured pre-trained conversation model, which learns dialog representations from limited labeled dialogs and large-scale unlabeled dialog corpora via semi-supervised contrastive pre-training. Concretely, we first define a general semantic tree structure (STS) to unify the inconsistent annotation schema across different dialog datasets, so that the rich structural information stored in all labeled data can be exploited. Then we propose a novel multi-view score function to increase the relevance of all possible dialogs that share similar STSs and only push away other completely different dialogs during supervised contrastive pre-training. To fully exploit unlabeled dialogs, a basic self-supervised contrastive loss is also added to refine the learned representations. Experiments show that our method can achieve new state-of-the-art results on the DialoGLUE benchmark consisting of seven datasets and four popular dialog understanding tasks. For reproducibility, we release the code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/space-2.

연구 동기 및 목표

• 기존 대비 학습 기법이 의미 유사도에 관계없이 모든 동일하지 않은 대화를 음성 샘플로 간주하는 한계를 해결하기 위해.
• 작업 중심 대화 데이터셋 간의 일관되지 않은 애너테이션 스키마를 통합하기 위해 계층적 의도, 슬롯, 값 정보를 포괄하는 일반적인 의미적 트리 구조(STS)를 사용하기 위해.
• 단순히 딱딱한 양성/음성 레이블에 의존하는 대신, 라벨이 붙은 대화 간의 부드러운 의미 유사도를 모델링하는 다중 시각 스코링 함수를 통해 대화 표현 학습을 향상시키기 위해.
• 특히 자원이 제한된 상황에서 일반화 능력을 향상시키기 위해 라벨이 붙은 데이터와 비라벨 데이터를 준지도 학습 대비 학습 프레임워크에 통합하기 위해.
• 구조적 지식과 대규모 비라벨 데이터에서의 공동 사전 훈련이 대화 이해 작업에 효과적인지 입증하기 위해.

제안 방법

• 작업 중심 대화 데이터셋 간의 일관되지 않은 애너테이션 스키마를 통합하기 위해 도메인, 의도, 슬롯, 값 수준에서 계층적 의미를 인코딩하는 일반적인 의미적 트리 구조(STS)를 도입하기 위해.
• STS의 글로벌 및 로컬 하위 구조에서의 스코링 점수를 집계하여 대화 간 의미 유사도를 계산하는 다중 시각 스코링 함수를 설계하여, 유연한 양성 샘플링을 가능하게 하기 위해.
• 다중 시각 스코링 함수를 활용한 지도 학습 대비 학습을 통해 의미적으로 관련된 대화의 표현 유사도를 높이고, 완전히 다른 대화만을 분리시키기 위해.
• 대규모 비라벨 대화 데이터에 표준 자기지도 학습 대비 학습 손실을 적용하여 학습된 표현을 추가로 정교화하기 위해.
• 지도 학습 대비 학습과 자기지도 학습 대비 학습을 결합한 공동 목적 함수를 사용하여 라벨이 붙은 데이터와 비라벨 데이터를 동시에 엔드 투 엔드로 훈련하기 위해.
• 최종 모델을 사용하여 의도 예측, 슬롯 채우기, 대화 상태 추적 등의 다운스트림 작업에 대해 피니튜닝을 통해 적응하기 위해.

실험 결과

연구 질문

• RQ1 통합된 STS를 통해 라벨이 붙은 대화의 계층적 의미 구조를 모델링함으로써 작업 중심 대화 시스템의 표현 학습이 향상되는가?
• RQ2 글로벌 및 로컬 STS 하위 구조를 모두 고려하는 다중 시각 스코링 함수는 기존의 딱딱한 양성 샘플링 방식과 비교해 대비 학습 성능에 어떤 영향을 미치는가?
• RQ3 준지도 학습 대비 학습을 통해 라벨이 붙은 데이터와 비라벨 데이터를 결합함으로써 모델 일반화 능력이 얼마나 향상되는가, 특히 소수의 샘플이 있는 설정에서?
• RQ4 제안된 방법은 다양한 대화 이해 벤치마크, 특히 자원이 제한된 상황에서도 기존 최신 기술 수준 모델을 초월하는가?
• RQ5 t-SNE 시각화를 통해 학습된 표현이 인간이 애너테이션한 의미 구조와 얼마나 잘 일치하는가?

주요 결과

• SPACE-2는 DialoGLUE 벤치마크에서 모든 일곱 개의 데이터셋과 네 가지 대화 이해 작업에서 최신 기술 수준 성능을 달성하며, 기존 방법들을 모두 능가한다.
• DSTC8 벤치마크에서, SPACE-2 multi는 버스, 이벤트, 홈, 렌터카 도메인에서 각각 91.6, 92.4, 96.2, 88.3의 F1 스코어를 기록했으며, 소수의 샘플 설정에서 성능을 보였다.
• REST 8K의 1/32-샷 설정에서, SPACE-2 multi는 F1 스코어 84.7을 기록하여 이전 최신 기술 수준 방법(82.1)을 크게 앞서며 특수 작업 설계 없이도 뛰어난 성능을 보였다.
• 절단 실험 결과, 트리 구조적 대비 학습을 제거할 경우 평균 성능이 88.10%에서 87.57%로 떨어지며, 이는 그 기여도가 핵심임을 확인한다.
• t-SNE 시각화 결과, 학습된 표현이 도메인, 의도, 슬롯, 값 하위 공간 전반에서 대화 애너테이션과 높은 일치도를 보였다.
• 특히 소수의 샘플 설정에서 뛰어난 성능을 보이며, 자원이 제한된 상황에서 준지도 학습 대비 학습의 효과성을 입증했다.