[논문 리뷰] Structure Extraction in Task-Oriented Dialogues with Slot Clustering

Liang Qiu, Chien-Sheng Wu외 2명|arXiv (Cornell University)|2022. 02. 28.

Speech and dialogue systems인용 수 5

한 줄 요약

이 논문은 사전 훈련된 모델을 사용해 먼저 슬롯 경계를 탐지한 후, 슬롯 토큰을 군집화하여 대화 온톨로지(ontology)를 추론함으로써, 수동 주석 없이 대화 상태 전이 그래프를 구축하는 새로운 비지도 학습 방법을 제안한다. 이 방법은 수동 주석 없이 상태 전이 그래프를 구축하여 기존의 베이스라인들보다 뛰어난 성능을 달성하고, 효과적인 데이터 증강을 가능하게 하여 응답 생성 정확도를 향상시킨다.

ABSTRACT

Extracting structure information from dialogue data can help us better understand user and system behaviors. In task-oriented dialogues, dialogue structure has often been considered as transition graphs among dialogue states. However, annotating dialogue states manually is expensive and time-consuming. In this paper, we propose a simple yet effective approach for structure extraction in task-oriented dialogues. We first detect and cluster possible slot tokens with a pre-trained model to approximate dialogue ontology for a target domain. Then we track the status of each identified token group and derive a state transition structure. Empirical results show that our approach outperforms unsupervised baseline models by far in dialogue structure extraction. In addition, we show that data augmentation based on extracted structures enriches the surface formats of training data and can achieve a significant performance boost in dialogue response generation.

연구 동기 및 목표

• 업무 중심 대화에서 수동 주석이 필요한 대화 상태 데이터의 높은 비용과 부족함을 해결하기 위해.
• 골드 표준 상태 주석에 의존하지 않고도 해석 가능하고 구조화된 대화 흐름을 추출하는 비지도 학습 방법을 개발하기 위해.
• 추출된 구조를 활용한 데이터 증강을 통해 종단 간 대화 응답 생성 성능을 향상시키기 위해.
• 원시 발화에서 탐지된 슬롯 토큰의 군집화를 통해 직접적으로 대화 온톨로지(슬롯 유형과 값)를 추정하기 위해.

제안 방법

• 사전 훈련된 트랜스포머 모델을 사용해 발화 내 잠재적 슬롯 토큰을 BIO 태깅 체계로 식별하는 새로운 작업인 슬롯 경계 탐지(SBD)를 정의한다.
• 의미적 유사도 기반으로 탐지된 슬롯 토큰을 군집화하며, 군집 수가 대상 도메인의 슬롯 수와 일치한다고 가정한다.
• 각 대화 상태를 각 슬롯이 전환 단계에서 갱신된 횟수를 세는 벡터로 표현한다.
• 대화 세션 동안 슬롯 값의 변화를 추적하여 각 발화에 대화 상태를 할당하고 상태 전이 빈도를 유도한다.
• 추출된 구조에서 상태-발화 사전을 구성하여 다중 응답 데이터 증강(MRDA)을 유도한다.
• 추출된 대화 흐름에서 샘플링을 통해 다양하고 논리적으로 일관된 훈련 데이터를 생성하기 위해 MRDA 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 슬롯 경계 탐지와 군집화를 통해 자원이 부족한 도메인에서 대화 온톨로지를 효과적으로 근사할 수 있는가?
• RQ2 군집화 기반의 비지도 구조 추출 방법이 대화 상태 전이를 포괄하는 데 있어 지도 학습 모델이나 잠재변수 모델과 비교해 얼마나 잘 성능을 내는가?
• RQ3 추출된 대화 구조가 데이터 증강을 통해 최종 응답 생성 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 멀티워즈 데이터셋의 다양한 도메인 간에 추출된 구조가 얼마나 강건한가?

주요 결과

• 제안된 방법은 멀티워즈 데이터셋의 모든 도메인에서 HMM, VRNN, 규칙 기반 모델을 포함한 모든 비지도 베이스라인보다 군집 성능 지표에서 뛰어난 성능을 보였다.
• 추출된 대화 구조는 높은 일관성을 보였으며, 테스트 세트의 대화 상태 중 어느 것도 훈련 또는 검증 분할에서 완전히 누락되지 않았다. 이는 강력한 일반화 능력을 의미한다.
• 추출된 구조 기반의 다중 응답 데이터 증강(MRDA)은 종단 간 응답 생성에서 뚜렷한 성능 향상을 이뤘으며, 단일 전환 설정에서 최근의 Most Frequent Sampling(MFS) 방법을 뛰어넘었다.
• 이 방법은 논리적 일관성을 유지하면서 표면 형태의 다양성을 증가시키는 데이터 증강을 가능하게 하여 모델의 일반화 능력을 향상시켰다.
• 추출된 대화 상태 전이를 해석 가능한 방식으로 재구성했으며, 추론 시에 주석이 필요한 대화 상태가 필요로 하지 않았다.