[논문 리뷰] Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation

Igor Shalyminov, Alessandro Sordoni외 2명|arXiv (Cornell University)|2020. 03. 03.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 GPT-2를 미세조정하여 소수의 샘플만으로도 도메인 적응을 수행할 수 있도록 설계된 하이브리드 생성-검색 트랜스포머 모델을 제안한다. 이 모델은 생성 기반 응답 생성과 검색 기반 응답 선택을 결합하여, 인간 평가에서 Multi-domain Wizard-of-Oz (MultiWOZ) 데이터셋에서 최신 기준 성능을 달성하며, 2등 시스템보다 승리율이 4퍼센트 이상 높다.

ABSTRACT

Domain adaptation has recently become a key problem in dialogue systems research. Deep learning, while being the preferred technique for modeling such systems, works best given massive training data. However, in the real-world scenario, such resources aren't available for every new domain, so the ability to train with a few dialogue examples can be considered essential. Pre-training on large data sources and adapting to the target data has become the standard method for few-shot problems within the deep learning framework. In this paper, we present the winning entry at the fast domain adaptation task of DSTC8, a hybrid generative-retrieval model based on GPT-2 fine-tuned to the multi-domain MetaLWOz dataset. Robust and diverse in response generation, our model uses retrieval logic as a fallback, being SoTA on MetaLWOz in human evaluation (>4% improvement over the 2nd place system) and attaining competitive generalization performance in adaptation to the unseen MultiWOZ dataset.

연구 동기 및 목표

• 제한된 도메인 내 데이터만으로 새로운 도메인에 대해 목표 지향 대화 시스템을 훈련할 때의 데이터 효율성 문제를 해결한다.
• 소수의 샘플 적응 환경에서 순수하게 생성 기반 또는 검색 기반 모델이 가지는 한계를 극복한다.
• 새로운 도메인으로도 잘 일반화되는 다양한 응답 생성 시스템을 개발한다.
• 대규모 사전 훈련된 언어 모델에서의 전이 학습을 활용하여 자원이 적은 도메인에서의 성능을 향상시킨다.
• 소수의 샘플에서의 도메인 적응 환경에서 인간 평가 기반 응답 품질을 뛰어나게 하고, 자동 평가 지표에서도 경쟁력을 확보한다.

제안 방법

• 소수의 도메인 내 지원 데이터셋에 기반한 GPT-2 기반 생성 모델을 미세조정하여 응답 생성을 수행한다.
• 대화 맥락과 유사도가 높은 지원 데이터셋 내 대화를 의미적 인코딩을 통해 검색하는 검색 모듈을 통합한다.
• 대상 대화 맥락과 지원 데이터셋의 대화를 동일한 트랜스포머 인코더를 사용해 인코딩하여 의미적 유사도를 계산한다.
• 대응 랭킹 기반 메커니즘을 통해 생성된 후보와 검색된 후보 중 최적의 응답을 선택한다.
• 생성된 응답과 검색된 응답을 학습된 랭킹 모듈을 통해 결합하여 최종 출력을 생성한다.
• 사전 훈련된 언어 모델에서의 지식 전이를 적용하여, 제로샷 및 소수의 샘플에서의 적응 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 소수의 샘플에서 대화 도메인 적응 환경에서 하이브리드 생성-검색 접근 방식이 순수하게 생성 기반 또는 검색 기반 모델보다 우월한가?
• RQ2 GPT-2와 같은 대규모 사전 훈련된 언어 모델을 소수의 도메인 내 지원 데이터셋에 미세조정하여 응답 생성에 효과적인가?
• RQ3 검색 기반의 백업 메커니즘이 자원이 적은 환경에서 응답의 다양성과 일관성에 얼마나 기여하는가?
• RQ4 이러한 하이브리드 모델은 MultiWOZ와 같이 새로운 다중 도메인 벤치마크에 효과적으로 일반화되는가?
• RQ5 이러한 접근 방식은 소수의 샘플에서의 적응 환경에서 기존 최신 기준 시스템 대비 인간 평가 기반 성능 향상이 얼마나 되는가?

주요 결과

• 제안된 모델은 인간 평가에서 이변 비교 시 56.85%의 승리율을 기록하여, 2등 시스템보다 4퍼센트 이상 높은 성능을 보였다.
• Meta-WOZ 데이터셋에서 인간 평가 결과로 최신 기준 성능을 달성하였으며, 기준 모델 및 기타 경쟁 시스템 대비 뚜렷한 우위를 보였다.
• 검토되지 않은 MultiWOZ 데이터셋에서도 경쟁적인 일반화 성능을 보여, 강력한 제로샷 적응 능력을 입증했다.
• BLEU, METEOR, ROUGE-L 등의 자동 평가 지표에서 생성 전용 및 검색 전용 기준 모델 대비 일관된 향상을 기록했다.
• 하이브리드 아키텍처는 응답의 다양성과 일관성을 향상시켰으며, 생성 성능가 낮을 경우 검색 기반 메커니즘이 견고한 백업 역할을 했다.
• 소수의 도메인 내 지원 데이터셋에 대한 미세조정이 모델 성능을 크게 향상시켰으며, 레이블이 적은 데이터에서도 효과적임을 입증했다.