[논문 리뷰] DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI

Jianguo Zhang, Kun Qian외 8명|arXiv (Cornell University)|2023. 07. 19.

Topic ModelingComputer Science인용 수 3

한 줄 요약

DialogStudio는 개방형 도메인, 작업 중심, 지식 기반, 요약 작업을 포함한 다양한 대화 데이터셋 80개 이상을 통합한 가장 크고 다양한 통합 컬렉션을 소개한다. 이는 라 ли선스, 도메인 인식형 프롬프트, 외부 지식을 포함한 일관된 형식으로 표준화되어 있으며, 제로샷 및 패턴 기반 설정에서 최고의 성능을 기록한 모델을 훈련시킨다. 이는 대화형 AI 연구 및 훈련 분야에서의 우수성을 입증한다.

ABSTRACT

Despite advancements in conversational AI, language models encounter challenges to handle diverse conversational tasks, and existing dialogue dataset collections often lack diversity and comprehensiveness. To tackle these issues, we introduce DialogStudio: the largest and most diverse collection of dialogue datasets, unified under a consistent format while preserving their original information. Our collection encompasses data from open-domain dialogues, task-oriented dialogues, natural language understanding, conversational recommendation, dialogue summarization, and knowledge-grounded dialogues, making it an incredibly rich and diverse resource for dialogue research and model training. To further enhance the utility of DialogStudio, we identify the licenses for each dataset, design external knowledge and domain-aware prompts for selected dialogues to facilitate instruction-aware fine-tuning. Furthermore, we develop conversational AI models using the dataset collection, and our experiments in both zero-shot and few-shot learning scenarios demonstrate the superiority of DialogStudio. To improve transparency and support dataset and task-based research, as well as language model pre-training, all datasets, licenses, codes, and models associated with DialogStudio are made publicly accessible\footnote{\url{https://github.com/salesforce/DialogStudio}}.

연구 동기 및 목표

• 대화형 AI에서 모델의 일반화를 저해하는 종합적이고 다양한 표준화된 대화 데이터셋의 부족 문제를 해결하기 위해.
• 다양한 도메인과 작업에서 유래한 분산된 대화 데이터셋을 하나의 일관되고 접근 가능한 형식으로 통합하면서 원본 정보를 유지하기 위해.
• 라이선스 식별, 도메인 인식형 프롬프트 설계, 외부 지식 통합을 통해 데이터셋의 사용성을 향상시켜 지시어 훈련을 지원하기 위해.
• 다양한 대화 시나리오에 걸쳐 작업별 및 데이터셋 기반 분석을 가능하게 하여 종합적인 연구 및 사전 훈련을 지원하기 위해.
• DialogStudio의 풍부한 통합 데이터 분포를 활용하여 제로샷 및 패턴 기반 학습을 통해 모델 성능을 향상시키기 위해.

제안 방법

• 개방형 도메인, 작업 중심, NLU, 대화 추천, 대화 요약, 지식 기반 대화의 6개 카테고리에 걸쳐 다양한 출처에서 80개 이상의 대화 데이터셋을 수집한다.
• 모든 데이터셋을 일관된 JSON 형식으로 표준화하고, 통일된 메타데이터를 제공하면서도 원본 구조와 내용을 유지한다.
• 모든 데이터셋에 대한 라이선스 식별 및 문서화를 수행하여 연구의 법적 준수성과 투명성을 확보한다.
• 지시어 따르기 모델의 피니튜닝을 촉진하기 위해 일부 데이터셋에 대해 도메인 인식형 및 지시어 훈련 프롬프트를 설계한다.
• 지식 기반 대화의 경우, 모델의 추론 및 응답 생성 능력을 향상시키기 위해 외부 지식 주입을 구현한다.
• DialogStudio 컬렉션을 사용하여 지시어 인식형 대화 모델(770M에서 3B 파라미터)을 훈련시고, 제로샷 및 패턴 기반 평가를 수행한다.

실험 결과

연구 질문

• RQ1 통합된, 다양한, 표준화된 대화 데이터셋 컬렉션은 대화형 AI 모델의 제로샷 및 패턴 기반 성능 향상에 기여할 수 있는가?
• RQ2 한 개의 컬렉션에 여러 가지 대화 작업과 도메인을 포함할 경우, 모델의 일반화 및 내구성 향상에 어느 정도 기여하는가?
• RQ3 도메인 인식형 프롬프트와 외부 지식의 통합은 지시어 따르기 및 응답 품질 향상에 얼마나 효과적인가?
• RQ4 통합된 데이터셋 컬렉션은 작업별 연구와 대규모 언어 모델 사전 훈련을 모두 효과적으로 지원할 수 있는가?
• RQ5 Flan, OPT, 또는 ParlAI와 같은 기존 컬렉션과 비교해 볼 때, DialogStudio는 커버리지, 다양성, 사용성 측면에서 어떤가?

주요 결과

• DialogStudio는 6개의 고유한 카테고리에 걸쳐 80개 이상의 대화 데이터셋을 포함하여, 지금까지 가장 종합적이고 다양한 통합 컬렉션이다.
• 이 컬렉션은 공개되어 있으며, 모든 라이선스 정보가 제공되어 연구의 투명성과 재현 가능성을 보장한다.
• 도메인 인식형 프롬프트와 외부 지식의 통합은 지시어 따르기 및 지식 기반 작업에서 모델 성능을 크게 향상시킨다.
• DialogStudio를 기반으로 훈련된 지시어 훈련 모델은 제로샷 및 패턴 기반 학습 환경에서 강력한 베이스라인을 초월한다.
• 간단한 `load_dataset()` 명령어로도 HuggingFace 호환 인터페이스를 통해 원활한 통합과 광범위한 사용성을 제공한다.
• 이 컬렉션은 개별 데이터셋 분석과 대규모 사전 훈련 모두를 지원하여 공정한 비교와 확장 가능한 모델 개발을 가능하게 한다.