[논문 리뷰] DLGNet: A Transformer-based Model for Dialogue Response Generation

Oluwatobi Olabiyi, Erik T. Mueller|arXiv (Cornell University)|2019. 07. 26.

Topic Modeling참고 문헌 37인용 수 5

한 줄 요약

DLGNet는 장기적 주의 메커니즘과 무작위 정보성 팯딩을 활용하여 응답의 관련성, 다양성 및 일관성을 향상시키는 트랜스포머 기반 모델이다. 최대 우도 추정만으로 훈련되었음에도 불구하고, Movie Triples 및 Ubuntu Dialogue 데이터셋에서 BLEU, ROUGE 및 고유한 n-gram 메트릭스에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Neural dialogue models, despite their successes, still suffer from lack of relevance, diversity, and in many cases coherence in their generated responses. These issues can attributed to reasons including (1) short-range model architectures that capture limited temporal dependencies, (2) limitations of the maximum likelihood training objective, (3) the concave entropy profile of dialogue datasets resulting in short and generic responses, and (4) the out-of-vocabulary problem leading to generation of a large number of tokens. On the other hand, transformer-based models such as GPT-2 have demonstrated an excellent ability to capture long-range structures in language modeling tasks. In this paper, we present DLGNet, a transformer-based model for dialogue modeling. We specifically examine the use of DLGNet for multi-turn dialogue response generation. In our experiments, we evaluate DLGNet on the open-domain Movie Triples dataset and the closed-domain Ubuntu Dialogue dataset. DLGNet models, although trained with only the maximum likelihood objective, achieve significant improvements over state-of-the-art multi-turn dialogue models. They also produce best performance to date on the two datasets based on several metrics, including BLEU, ROUGE, and distinct n-gram. Our analysis shows that the performance improvement is mostly due to the combination of (1) the long-range transformer architecture with (2) the injection of random informative paddings. Other contributing factors include the joint modeling of dialogue context and response, and the 100% tokenization coverage from the byte pair encoding (BPE).

연구 동기 및 목표

• 다회화 대화 모델에서 지속적인 문제인 일반적이고 짧으며 일관성 없는 응답을 해결하기 위해.
• 장기적 의존성을 포착하는 데에 한계가 있는 순환 모델과 비교하여, 장기적 모델링 기능을 갖춘 트랜스포머 아키텍처가 그 한계를 극복할 수 있는지 조사하기 위해.
• 대화 데이터셋에서 볼록한 엔트로피 프로파일 문제를 완화하기 위해 무작위 정보성 팂딩의 영향을 평가하기 위해.
• 100% 토큰화 커버리지가 보장되는 바이트 페어 인코딩(BPE)을 통해 OOV 문제를 줄이기 위해.
• 표준 최대 우도 훈련 하에서 대화 맥락과 응답의 공동 모델링이 생성 품질에 미치는 영향을 평가하기 위해.

제안 방법

• 다회화 맥락의 장기적 의존성을 모델링하기 위해 트랜스포머 기반 아키텍처를 채택한다.
• 데이터의 낮은 엔트로피 영역에 대한 과적합을 방지하고 볼록한 엔트로피 프로파일 문제를 완화하기 위해 훈련 시퀀스에 무작위 정보성 팂딩을 삽입한다.
• 입력 및 출력 토큰의 100% 커버리지를 보장하기 위해 바이트 페어 인코딩(BPE)을 사용하여 OOV 문제를 최소화한다.
• 복잡한 보조 목표 없이 오직 최대 우도 추정(MLE)을 사용하여 모델을 종합적으로 훈련한다.
• 전체 대화 역사와 응답을 하나의 자동회귀 시퀀스로 공동 모델링하여 맥락 이해도를 향상시킨다.
• 다중 헤드 자기주도 주의 메커니즘을 활용하여 대화 턴 간의 장기적 의존성을 포착한다.

실험 결과

연구 질문

• RQ1 장기적 주의 메커니즘을 갖춘 트랜스포머 기반 모델이 다회화 대화 생성에서 응답의 관련성과 일관성을 크게 향상시킬 수 있는가?
• RQ2 대화 시퀀스에 무작위 정보성 팂딩을 삽입함으로써 볼록한 엔트로피 프로파일로 인한 짧고 일반적인 응답 문제를 완화할 수 있는가?
• RQ3 어휘 수준의 토큰화와 비교할 때 BPE 기반 토큰화가 OOV 문제를 얼마나 줄이는가?
• RQ4 강화 학습이나 GAN과 같은 복잡한 훈련 목표 없이도, 아키텍처 및 데이터 수준의 혁신을 조합한 표준 MLE 목표가 대화 생성에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 별도의 맥락 표현에서 자동회귀 디코딩하는 것과 비교해 볼 때, 대화 맥락과 응답의 공동 모델링이 생성 품질에 어떤 영향을 미치는가?

주요 결과

• DLGNet는 BLEU, ROUGE 및 고유한 n-gram 메트릭스에서 Movie Triples 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 모델들을 능가한다.
• Ubuntu Dialogue 데이터셋에서 DLGNet는 BLEU 및 ROUGE 점수에서 크게 향상된 최고의 보고된 성능을 기록하였다.
• 345M 파라미터를 가진 모델(DLGNet-345M)은 HRED, VHRED 및 hredGAN과 같은 더 작은 버전 및 베이스라인 모델보다 더 다양하고 맥락에 부합하는 응답을 생성한다.
• 무작위 정보성 팂딩은 데이터의 낮은 엔트로피 영역에 대한 모델의 편향을 방해함으로써 짧고 일반적인 응답 경향을 크게 감소시킨다.
• 장기적 주의 메커니즘과 BPE 토큰화의 조합은 <UNK> 토큰의 수를 상당히 감소시켜 커버리지와 응답 품질을 향상시킨다.
• 강화 학습이나 GAN과 같은 복잡한 훈련 목표 없이도 DLGNet는 강력한 성능을 달성하여 아키텍처 및 데이터 수준의 설계 선택의 효과를 입증한다.