[논문 리뷰] Paraphrase Augmented Task-Oriented Dialog Generation

Silin Gao, Yichi Zhang외 2명|arXiv (Cornell University)|2020. 04. 16.

Topic Modeling참고 문헌 36인용 수 12

한 줄 요약

이 논문은 자동으로 구성된 병렬 문장 데이터를 사용하여 병렬 문장 모델과 응답 생성 모델을 함께 훈련하는 연합 학습 프레임워크인 Paraphrase Augmented Response Generation (PARG)을 제안한다. PARG는 다양한 맥락적 일관성 있는 병렬 문장을 생성함으로써 CamRest676 및 MultiWOZ에서 응답 품질과 작업 완료 비율을 향상시켜 저자원 조건에서도 성능을 크게 향상시킨다.

ABSTRACT

Neural generative models have achieved promising performance on dialog generation tasks if given a huge data set. However, the lack of high-quality dialog data and the expensive data annotation process greatly limit their application in real-world settings. We propose a paraphrase augmented response generation (PARG) framework that jointly trains a paraphrase model and a response generation model to improve the dialog generation performance. We also design a method to automatically construct paraphrase training data set based on dialog state and dialog act labels. PARG is applicable to various dialog generation models, such as TSCP (Lei et al., 2018) and DAMD (Zhang et al., 2019). Experimental results show that the proposed framework improves these state-of-the-art dialog models further on CamRest676 and MultiWOZ. PARG also significantly outperforms other data augmentation methods in dialog generation tasks, especially under low resource settings.

연구 동기 및 목표

• 작업 중심 대화 시스템에서 고품질의 애너테이션된 대화 데이터가 부족한 문제를 해결하기 위해.
• 대화 맥락과 의도를 유지하는 병렬 문장 기반 데이터 증강을 활용하여 응답 생성 성능을 향상시키기 위해.
• 병렬 문장 생성과 응답 생성을 동시에 최적화하는 엔드 투 엔드 프레임워크를 개발하여 모델의 일반화 능력을 향상시키기 위해.
• 대규모 인간 애너테이션 데이터셋에 대한 의존도를 줄이기 위해 고품질의 합성 대화 병렬 문장을 자동으로 생성하기 위해.
• 자원이 제한된 환경에서 병렬 문장 증강의 효과를 입증하기 위해.

제안 방법

• 동일한 대화 액트와 의미적 내용을 가졌지만 다른 표면 형태를 가진 사용자 발화를 다양한 대화 세션 간에 식별하여 병렬 문장 훈련 데이터셋을 구성한다.
• 병렬 문장 생성 모델과 응답 생성 모델 양쪽에 다단계 시퀀스-투-시퀀스 아키텍처를 사용하여 맥락 인식 기능을 갖춘 구조적 생성을 가능하게 한다.
• 두 모델의 디코더 간에 글로벌 어텐션 메커니즘을 도입하여 훈련 중 연합 최적화를 가능하게 한다.
• 어휘 필터 컴포넌트는 오직 고품질의 맥락적으로 일관된 병렬 문장만 데이터 증강에 사용하도록 보장한다.
• 대화 상태와 대화 액트 레이블 기반으로 병렬 문장을 생성하여 병렬 문장 간의 기능 일관성을 보장한다.
• 기존 최첨단 모델인 TSCP 및 DAMD와의 호환성을 확보하여 즉각적인 통합 향상이 가능하다.

실험 결과

연구 질문

• RQ1 병렬 문장 기반 데이터 증강은 작업 중심 대화 시스템에서 응답 생성 품질을 향상시킬 수 있는가?
• RQ2 병렬 문장 모델과 응답 생성 모델을 함께 훈련시키는 것이 후속 성능에 어떤 영향을 미치는가?
• RQ3 PARG는 저자원 훈련 조건에서 모델의 강건성에 얼마나 기여하는가?
• RQ4 기존 데이터 증강 방법과 비교했을 때 PARG가 생성한 병렬 문장의 유창성과 의도 유지 능력은 어떠한가?
• RQ5 맥락 인식 기반 병렬 문장 생성은 더 나은 대화 상태 추적과 작업 완료 비율을 이끌 수 있는가?

주요 결과

• PARG는 CamRest676 및 MultiWOZ에서 응답 생성 성능을 크게 향상시키며, 특히 작업 완료 비율 향상이 두드러진다.
• 전체 데이터 기반 베이스라인 성능과 비교해도 훈련 데이터의 50%만으로도 유사한 성능를 달성하여 저자원 환경에서의 뛰어난 효과를 입증한다.
• 인간 평가 결과, PARG는 NAEPara 및 SRPara보다 더 높은 품질의 병렬 문장을 생성하며, 비교 중 59.2%는 PARG가 NAEPara를, 55.4%는 PARG가 SRPara를 앞선다.
• 특히 저자원 환경에서, 교체 기반(TextSub) 및 병렬 문장 기반(SRPara) 방법과 비교해도 PARG가 우월한 성능를 보인다.
• 저자원 상황에서 모델 오류를 감소시켜, 자료가 부족할 경우 잘못된 레스토랑 추천이 발생하는 문제를 방지한다.
• 유연한 어휘 교체(예: 'inexpensive' → 'cheap')를 통해 의미의 정합성은 유지하면서 표면 형태의 다양성을 증가시켜 병렬 문장 품질을 향상시킨다.