[논문 리뷰] MedDialog: A Large-scale Medical Dialogue Dataset

Shu Chen, Zeqian Ju외 10명|arXiv (Cornell University)|2020. 04. 07.

Machine Learning in Healthcare참고 문헌 2인용 수 28

한 줄 요약

이 논문은 0.3백만 건의 영어 및 1.1백만 건의 중국어 환자-의사 대화를 포함하는 대규모 의료 대화 데이터셋인 MedDialog을 소개한다. 총 0.5백만 건의 발화문과 4백만 건의 발화문을 각각 포함하며, 이는 현재까지 가장 큰 의료 대화 데이터셋이다. 본 데이터셋은 원격의료 애플리케이션을 위한 의료 대화 시스템 연구를 촉진하기 위해 설계되었다.

ABSTRACT

Medical dialogue systems are promising in assisting in telemedicine to increase access to healthcare services, improve the quality of patient care, and reduce medical costs. To facilitate the research and development of medical dialogue systems, we build two large-scale medical dialogue datasets: MedDialog-EN and MedDialog-CN. MedDialog-EN is an English dataset containing 0.3 million conversations between patients and doctors and 0.5 million utterances. MedDialog-CN is an Chinese dataset containing 1.1 million conversations and 4 million utterances. To our best knowledge, MedDialog-(EN,CN) are the largest medical dialogue datasets to date. The dataset is available at this https URL

연구 동기 및 목표

• 의료 대화 시스템을 훈련하고 평가하기 위한 대규모이고 다양한 의료 대화 데이터셋이 부족한 문제를 해결하기 위해.
• 원격의료에서 확장 가능하고 데이터 기반의 의료 대화 시스템을 통해 의료 접근성을 향상시키기 위해.
• 영어 및 중국어 의료 대화 데이터의 병렬 제공을 통해 多국어 연구를 지원하기 위해.
• 환자의 치료 향상을 위해 정확하고 맥락을 고려한 의료 대화 에이전트의 개발을 촉진하기 위해.

제안 방법

• 실제 의료 상담 데이터에서 유래한 MedDialog-EN 및 MedDialog-CN을 철저히 정제하고 구축하였다.
• 원격의료 플랫폼에서 환자-의사 대화를 수집하여 임상적 관련성과 다양성을 확보하였다.
• 모델 훈련 및 평가를 위해 대화를 턴 단위로 구조화하고 애너테이션을 수행하였다.
• 의료 정확성을 유지하기 위해 전문가 검토 및 언어학적 검증을 통해 데이터 품질을 확보하였다.
• 기존의 NLP 및 대화 시스템 프레임워크와의 상호운용성을 확보하기 위해 대화 형식과 메타데이터를 표준화하였다.
• 연구의 광범위한 접근성과 재현 가능성을 보장하기 위해 공개 URL을 통해 데이터셋을 공개하였다.

실험 결과

연구 질문

• RQ1 대규모이고 다국어인 의료 대화 데이터셋이 실제 원격의료 환경에서 의료 대화 시스템의 성능을 향상시킬 수 있는가?
• RQ2 대화 데이터의 규모와 다양성이 맥락을 고려한 의료 대화 에이전트의 훈련에 어떤 영향을 미치는가?
• RQ3 다국어 의료 대화 데이터셋이 다국어 의료 대화 모델 개발을 얼마나 잘 지원할 수 있는가?
• RQ4 대규모이고 임상적으로 정확한 의료 대화 데이터를 대규모로 수집하고 정제하는 데에 직면한 주요 과제는 무엇인가?

주요 결과

• MedDialog-EN은 0.3백만 건의 영어 대화와 0.5백만 건의 발화문을 포함하여, 공개적으로 이용 가능한 가장 큰 영어 의료 대화 데이터셋 중 하나이다.
• MedDialog-CN은 1.1백만 건의 중국어 대화와 4백만 건의 발화문을 포함하며, 중국어 의료 대화 데이터의 규모를 크게 확장하고 있다.
• 통합된 데이터셋은 영어 및 중국어 모두에서 현재까지 가장 큰 의료 대화 컬렉션을 구성하고 있다.
• 이 데이터셋들은 공개 URL을 통해 공개되어 의료 대화 시스템 분야의 개방형 연구와 재현 가능성을 지원하고 있다.