[논문 리뷰] DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue

Shikib Mehri, Mihail Eric외 1명|arXiv (Cornell University)|2020. 09. 28.

Topic Modeling참고 문헌 27인용 수 97

한 줄 요약

DialoGLUE는 ConvBERT와 태스크 어댑티브 트레이닝을 통한 개선을 보여주는 강력한 벤치마크를 포함하여, 4개의 NLU 태스크에 걸친 7개의 태스크 지향 대화 데이터셋에 대한 공개 벤치마크를 도입한다.

ABSTRACT

A long-standing goal of task-oriented dialogue research is the ability to flexibly adapt dialogue models to new domains. To progress research in this direction, we introduce DialoGLUE (Dialogue Language Understanding Evaluation), a public benchmark consisting of 7 task-oriented dialogue datasets covering 4 distinct natural language understanding tasks, designed to encourage dialogue research in representation-based transfer, domain adaptation, and sample-efficient task learning. We release several strong baseline models, demonstrating performance improvements over a vanilla BERT architecture and state-of-the-art results on 5 out of 7 tasks, by pre-training on a large open-domain dialogue corpus and task-adaptive self-supervised training. Through the DialoGLUE benchmark, the baseline methods, and our evaluation scripts, we hope to facilitate progress towards the goal of developing more general task-oriented dialogue models.

연구 동기 및 목표

• 다양한 도메인과 데이터셋에 걸친 태스크 지향 대화 모델의 일반화 동기 부여 및 가능성 제고.
• 표준화된 평가 벤치마크와 공개적으로 이용 가능한 Baselines 및 리더보드 리소스를 제공한다.
• 오픈 도메인 대화 사전 학습과 태스크 어댑티브 자기지도 학습이 태스크 지향 태스크로의 전이에서 효과적임을 보여준다.

제안 방법

• 태스크 지향 대화에서 4개의 NLU 태스크에 걸친 7개 데이터셋의 공개 벤치마크(DialoGLUE)를 구축한다.
• 의도 예측, 슬롯 채우기, 의미 파싱, 대화 상태 추적을 위한 BERT 유사 인코더 기반 아키텍처를 구현한다.
• 대규모 오픈 도메인 대화 코퍼스(≈700M conversations)에서 BERT를 미세조정하여 ConvBERT를 만든다.
• 대상 데이터셋에 대해 마스킹된 언어 모델링으로 태스크 어댑티브 트레이닝을 적용하며, 프리트레이닝 및 멀티태스킹을 포함한다.
• 네 가지 모델 변형(BERT, ConvBERT, BERT-DG, ConvBERT-DG)을 네 가지 설정(직접 파인튜닝, MLM 프리트레이닝, MLM 멀티태스킹, 둘 다)에서 평가한다.
• 공개 평가 스크립트와 EvalAI의 리더보드를 제공하고, 오픈소스 코드와 벤치마크를 제공한다.

실험 결과

연구 질문

• RQ1 DialoGLUE와 같은 표준화된 다중 태스크 벤치마크가 일반적이고 전이 친화적인 태스크 지향 대화 모델의 발전을 이끌 수 있는가?
• RQ2 대규모 오픈 도메인 대화 사전 학습과 태스크 어댑티브 자기지도 학습이 다양한 대화 이해 태스크에서 성능을 향상시키는가?
• RQ3 다른 사전학습 및 파인튜닝 전략(사전학습, 멀티태스킹 또는 둘 다)이 의도 예측, 슬롯 채우기, 의미 파싱, 대화 상태 추적의 성능에 어떤 영향을 미치는가?
• RQ4 여러 DialoGLUE 데이터셋에서 학습할 때 측정 가능한 교차 태스크 전이가 있는가?
• RQ5 적은 샷 데이터 설정이 자기지도 학습 및 전이 학습 접근의 효율성에 미치는 영향은 무엇인가?

주요 결과

• DialoGLUE는 공개적으로 이용 가능한 벤치마크를 갖춘 7개 데이터셋과 4개 태스크에 걸친 도전적이고 표준화된 벤치마크를 제공합니다.
• ConvBERT에 태스크 어댑티브 트레이닝이 적용된 경우 7개 태스크 중 5개에서 최첨단 성능에 근접하거나 이를 상회하며, MultiWOZ에서 이전 최고 모델 대비 주목할 만한 +2.98 joint-goal 정확도를 달성합니다.
• 태스크 어댑티브 자기지도 학습이 오픈 도메인 대화 사전 학습과 결합되어 DialoGLUE 태스크 전반에서 총체적 이점을 제공하지만 이익은 태스크에 따라 다릅니다.
• 광범위한 DialoGLUE 데이터 혼합에 대한 자기지도 학습은 소 샷 설정에서 도움이 될 수 있으며, MultiWOZ 및 대화 상태 추적 태스크에서 두드러진 향상을 보여줍니다.
• 일부 태스크(TOP 및 DSTC8)에서는 특화된 아키텍처가 일반 인코더를 능가하여 태스크 특화 적응의 여지가 있음을 시사합니다.
• 전반적으로 ConvBERT와 태스크 어댑티브 트레이닝의 조합이 벤치마크 전반에서 가장 강력한 누적 성능을 제공합니다.