[논문 리뷰] Learning a Simple and Effective Model for Multi-turn Response Generation with Auxiliary Tasks

Yufan Zhao, Can Xu외 2명|arXiv (Cornell University)|2020. 04. 04.

Topic Modeling참고 문헌 34인용 수 14

한 줄 요약

이 논문은 모델 복잡도를 증가시키지 않으면서도 맥락 이해를 향상시키기 위해 네 가지 보조 작업—단어 순서 복구, 발화 순서 복구, 마스킹된 단어 복구, 마스킹된 발화 복구—를 활용하는 단순하면서도 효과적인 트랜스포머 기반 다중 전환 응답 생성 모델을 제안한다. 이 방법은 ReCoSa와 같은 깊은 모델보다 최대 2배 빠른 디코딩 속도를 기록하면서도 세 가지 벤치마크에서 최신 기술 수준의 응답 품질을 달성한다.

ABSTRACT

We study multi-turn response generation for open-domain dialogues. The existing state-of-the-art addresses the problem with deep neural architectures. While these models improved response quality, their complexity also hinders the application of the models in real systems. In this work, we pursue a model that has a simple structure yet can effectively leverage conversation contexts for response generation. To this end, we propose four auxiliary tasks including word order recovery, utterance order recovery, masked word recovery, and masked utterance recovery, and optimize the objectives of these tasks together with maximizing the likelihood of generation. By this means, the auxiliary tasks that relate to context understanding can guide the learning of the generation model to achieve a better local optimum. Empirical studies with three benchmarks indicate that our model can significantly outperform state-of-the-art generation models in terms of response quality on both automatic evaluation and human judgment, and at the same time enjoys a much faster decoding process.

연구 동기 및 목표

• 깊은 아키텍처를 사용하지 않으면서도 높은 성능을 유지하는 경량 신경 모델을 개발하는 것.
• 맥락 이해를 보조 학습 작업으로 이관하여 복잡한 계층적 또는 깊은 트랜스포머 인코더에 대한 의존도를 줄이는 것.
• 생성과 맥락 인식 보조 작업을 공동 최적화하여 응답 품질을 향상시키는 것.
• 자동 평가 및 인간 평가 모두에서 최신 기술 수준의 모델을 능가하면서도 더 빠른 추론 속도를 달성하는 것.

제안 방법

• 모델은 단일 레이어 자기주의 인코더와 단일 레이어 맥락 주의 디코더를 사용하여 경량의 시퀀스-투-시퀀스 아키텍처를 형성한다.
• 네 가지 보조 작업이 도입된다: 단어 순서 복구, 발화 순서 복구, 마스킹된 단어 예측, 마스킹된 발화 예측으로 맥락 표현 학습을 향상시킨다.
• 모든 작업은 동일한 인코더를 공유하며, 응답 생성을 위한 최대우도추정(MLE)과 함께 공동 최적화된다.
• 보조 작업들은 순서적 종속성과 맥락 내 의미 일관성을 강조함으로써 모델이 더 나은 국소 표현을 학습하도록 이끈다.
• MLE와 네 가지 보조 손실을 결합한 다중 작업 목적 함수를 사용해 엔드 투 엔드로 학습된다.
• 아키텍처는 Ubuntu 대화 코퍼스, DailyDialog, PERSONA-CHAT 세 가지 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 최소한의 파rameter를 가진 단순한 신경 아키텍처가 다중 전환 응답 생성에서 깊고 복잡한 모델을 능가할 수 있는가?
• RQ2 보조 작업이 경량 모델에서 맥락 이해를 어느 정도 향상시키는가?
• RQ3 응답 품질과 추론 속도 측면에서 제안된 모델의 성능이 최신 기술 수준의 모델과 비교해 어떻게 되는가?
• RQ4 보조 작업이 얕은 모델에 비해 깊은 모델에 더 효과적인가?
• RQ5 다양한 대화 데이터셋에서 성능 향상에 가장 기여하는 보조 작업은 무엇인가?

주요 결과

• 제안된 모델은 자동 평가 및 인간 평가 지표 모두에서 ReCoSa, HRAN, HRED와 같은 최신 기술 수준의 모델을 모두 초월한다.
• PERSONA-CHAT 데이터셋에서, 모델은 SSN에 대해 49%의 인간 평가 승률을 기록했으며 ReCoSa에 대해서는 39%를 기록했고, 각각 0.695와 0.566의 높은 카파 점수를 확보했다.
• DailyDialog, PERSONA-CHAT, Ubuntu 데이터셋에서 각각 4층, 6층, 7층 트랜스포머 인코더와 동등한 성능을 달성했으며, 이는 낮은 깊이로도 강력한 표현 능력을 지닌다는 것을 보여준다.
• HRED보다 파rameter 수가 적음에도 불구하고 ReCoSa보다 디코딩 속도가 2배 빠르며, 이는 효율성 측면에서의 명백한 이점임을 시사한다.
• 제거 실험 결과, 보조 작업을 제거할 경우 성능 저하가 발생하며, DailyDialog와 UDC에서는 순서 복구 작업이 더 중요하고, PERSONA-CHAT에서는 단어 수준 복구 작업이 더 기여도가 높다.
• 보조 작업은 얕은 모델에 더 유익하며, 모델 깊이가 증가함에 따라 그 영향력은 감소함을 확인하여, 효율적이고 효과적인 학습을 가능하게 한다는 점을 뒷받침한다.