[논문 리뷰] Unsupervised Dialog Structure Learning

Weiyan Shi, Tiancheng Zhao외 1명|arXiv (Cornell University)|2019. 04. 07.

Topic Modeling참고 문헌 26인용 수 12

한 줄 요약

이 논문은 작업 지향 대화에서 잠재 상태와 전이를 모델링하기 위해 Gumbel-Softmax를 사용한 이산 변동형 순환 신경망(Discrete-VRNN)을 사용하는 비지도 학습 방법을 제안한다. 이 방법은 이전의 HMM 기반 모델보다 대화 구조 탐색에서 뛰어난 성능을 보이며, 강화학습 기반 대화 시스템 훈련을 향상시키기 위해 학습된 전이 확률을 보상 함수에 통합함으로써 수렴 속도를 높이고 성공률을 향상시킨다.

ABSTRACT

Learning a shared dialog structure from a set of task-oriented dialogs is an important challenge in computational linguistics. The learned dialog structure can shed light on how to analyze human dialogs, and more importantly contribute to the design and evaluation of dialog systems. We propose to extract dialog structures using a modified VRNN model with discrete latent vectors. Different from existing HMM-based models, our model is based on variational-autoencoder (VAE). Such model is able to capture more dynamics in dialogs beyond the surface forms of the language. We find that qualitatively, our method extracts meaningful dialog structure, and quantitatively, outperforms previous models on the ability to predict unseen data. We further evaluate the model's effectiveness in a downstream task, the dialog system building task. Experiments show that, by integrating the learned dialog structure into the reward function design, the model converges faster and to a better outcome in a reinforcement learning setting.

연구 동기 및 목표

• 인간-인간 작업 지향 대화에서 인간의 주석 없이 잠재 대화 구조를 자동으로 탐지하기 위해.
• 기존 HMM의 능력 이상으로 복잡하고 비선형적인 대화 역학을 모델링하기 위해.
• 강화학습 보상 설계에 학습된 대화 구조를 통합하여 후속 대화 시스템 훈련을 향상시키기 위해.
• 의미 있는 대화 흐름과 전이를 포착하는 해석 가능한 이산 잠재 변수 모델을 개발하기 위해.

제안 방법

• 해석 가능성 향상을 위해 Gumbel-Softmax 재구성 방법을 사용한 수정된 변동형 순환 신경망(VRNN)을 채택하며, 이산 잠재 벡터를 사용한다.
• 각 발화 쌍을 잠재 상태에 속하게 하고, 상태 간 전이를 전이 확률 테이블로 제어한다.
• 상태 의존성을 포착하기 위해 두 가지 변형을 도입한다: D-VRNN(간접 전이 모델링)과 DD-VRNN(직접 전이 모델링).
• 발화 재구성과 잠재 대화 구조 탐색을 동시에 최적화하기 위해 변동형 추론을 활용한다.
• 강화학습 보상 함수에서 예측된 전이 분포와 학습된 전이 분포 간의 KL 발산을 신호로 활용한다.
• 학습된 대화 구조를 강화학습에 통합하여, 실제 세계의 대화 패턴에서의 이탈을 방지하는 보상 함수를 설계한다.

실험 결과

연구 질문

• RQ1 이산 잠재 변수를 가진 딥 생성 모델이 원시적이고 주석이 없는 작업 지향 대화에서 의미 있는 대화 구조를 효과적으로 탐지할 수 있는가?
• RQ2 제안된 Discrete-VRNN 모델은 비지도 대화 구조 학습에서 기존의 HMM 기반 베이스라인에 비해 어떤 성능을 보이는가?
• RQ3 학습된 대화 구조는 강화학습 기반 대화 시스템의 훈련 효율성과 성공률을 어느 정도 향상시킬 수 있는가?
• RQ4 예측된 전이 분포와 실제 전이 분포 간의 KL 발산을 강화학습 보상 함수에 통합할 경우, 수렴 속도가 빨라지고 정책 성능이 향상되는가?

주요 결과

• Discrete-VRNN 모델은 이전의 HMM 기반 모델에 비해 비지도 대화 구조 학습에서 정량적·정성적으로 뛰어난 성능을 달성한다.
• 예측된 전이 분포와 실제 전이 분포 간의 발산을 페널티로 삼는 KL-보상 함수는 강화학습 훈련에서 더 빠른 수렴과 높은 성공률을 이끈다.
• KL-보상과 반복 페널티(KL+Rep)의 조합은 개별 보상 구성 요소보다 더 안정적이고 높은 최종 성공률을 기록하며 가장 우수한 성능을 보였다.
• 보상에 구조적이고 데이터 기반의 전이 신호를 통합함으로써, 모델은 베이스라인보다 더 빠르게 보다 우수한 정책으로 수렴하며 분산이 감소한다.
• 학습된 전이 확률 테이블은 레스토랑 예약 작업에서의 일반적인 흐름과 같은 실제 세계의 대화 패턴을 포착하며, 정책 학습을 효과적으로 이끈다.