[논문 리뷰] Natural language understanding for task oriented dialog in the biomedical domain in a low resources context

Antoine Neuraz, Leonardo Campillos Llanos외 2명|arXiv (Cornell University)|2018. 11. 23.

Topic Modeling참고 문헌 18인용 수 8

한 줄 요약

이 논문은 생물의학 분야의 자연어 이해(NLU) 모델을 프랑스어 전자건강기록(EHR)에서 임무지향 대화를 위해 저자원 환경에서 훈련하기 위한 접근법을 제안한다. 합성 데이터 생성과 사전 훈련된 임베딩을 활용하며, 템플릿 기반 데이터 생성, 피벗 번역을 통한 복수화, 대규모 EHR 코퍼스에서의 FastText 및 ELMo 임베딩을 통한 외부 지식 통합을 통해, 슬롯 채우기 F1 점수 0.76과 의도 분류 F1 점수 0.71를 달성하여 자료가 부족한 환경에서의 기초 모델로의 가능성을 입증한다.

ABSTRACT

In the biomedical domain, the lack of sharable datasets often limit the possibility of developing natural language processing systems, especially dialogue applications and natural language understanding models. To overcome this issue, we explore data generation using templates and terminologies and data augmentation approaches. Namely, we report our experiments using paraphrasing and word representations learned on a large EHR corpus with Fasttext and ELMo, to learn a NLU model without any available dataset. We evaluate on a NLU task of natural language queries in EHRs divided in slot-filling and intent classification sub-tasks. On the slot-filling task, we obtain a F-score of 0.76 with the ELMo representation; and on the classification task, a mean F-score of 0.71. Our results show that this method could be used to develop a baseline system.

연구 동기 및 목표

• 생물의학 분야에서 NLU 모델을 훈련하기 위한 애너테이션된 데이터셋 부족 문제, 특히 프랑스어와 같은 저자원 언어에서의 문제를 해결하기 위해.
• 실제 데이터가 개인정보 보호 제약으로 인해 이용이 불가능한 상황에서, 데이터 효율적인 NLU 시스템을 훈련하기 위한 방법을 개발하기 위해.
• 합성 데이터 생성, 복수화, 사전 훈련된 문맥 임베딩(FastText, ELMo)의 효과를 평가하여 EHR 쿼리 이해에서의 NLU 성능 향상 여부를 분석하기 위해.
• 저자원 생물의학 환경에서 대화 시스템을 구축하기 위한 실용적인 기초 모델을 수립하기 위해.

제안 방법

• 409개의 검사 언급어 목록과 함께, 실험실 검사 쿼리 및 시간적 수식어에 대한 수작업 템플릿을 사용하여 다양한 실제와 유사한 사용자 발화를 생성하는 합성 훈련 데이터를 생성한다.
• 영어를 중간 언어로 사용하는 피벗 번역을 통한 복수화를 활용하여 생성된 템플릿의 복수어를 생성하여 언어적 다양성을 증가시킨다.
• 대규모 프랑스어 EHR 코퍼스에서 훈련된 FastText와 ELMo를 사용하여 단어 표현과 문맥 임베딩을 학습하여 도메인 특화 지식을 통합한다.
• 슬롯 채우기 및 의도 분류를 위한 시퀀스 레이블링은 biLSTM, CRF, biLSTM-CRF 아키텍처를 사용하며, 외부 임베딩 유무에 따라 모델링한다.
• 모델 성능은 178개의 실제 의사 쿼리로 구성된 별도의 테스트 세트에서 평가되며, 시퀀스 레이블링 및 분류 작업에 대해 F1 점수가 보고된다.
• 모델은 복수화된 데이터 유무 및 다른 임베딩 소스(FastText, ELMo, 또는 외부 지식 없음)에 따라 비교되어 일반화 능력에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 애너테이션된 훈련 데이터가 없는 상황에서 합성 데이터 생성과 사전 훈련된 임베딩을 조합하여 생물의학 NLU 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 문맥 임베딩(ELMo)이 정적 단어 임베딩(FastText)보다 저자원 EHR 쿼리에서 NLU 성능 향상에 얼마나 효과적인가?
• RQ3 피벗 번역 기반의 복수화를 통한 데이터 증강이 실제 생물의학 쿼리에서 모델 일반화 능력 향상에 기여하는가?
• RQ4 대규모 EHR 코퍼스에서의 도메인 특화 지식 통합이 슬롯 채우기 및 의도 분류 작업의 성능 향상에 얼마나 기여하는가?
• RQ5 이 접근법은 저자원 생물의학 환경에서 대화 시스템 개발을 위한 타당한 기초 모델이 될 수 있는가?

주요 결과

• 슬롯 채우기 작업에서 가장 우수한 성능을 보인 모델은 ELMo 임베딩을 사용하여 F1 점수 0.76를 달성하였으며, 외부 지식이 없는 모델(F1 = 0.55 ± 0.12)보다 유의미하게 뛰어났다.
• 의도 분류 작업에서 가장 우수한 모델은 ELMo를 사용하여 평균 F1 점수 0.71를 기록하였고, 외부 임베딩 없이 훈련된 모델은 0.61이었다.
• 모든 작업에서 ELMo는 FastText를 항상 능가하였으며, 이는 저자원 환경에서 문맥 기반 표현이 정적 임베딩보다 더 효과적임을 시사한다.
• 복수화는 슬롯 채우기 작업에서 성능 향상에 기여하지 않았고, 일부 경우에서는 약간의 성능 저하를 초래하여 피벗 번역 기반 복수화의 품질이 최적화되지 않았을 가능성을 시사한다.
• ELMo와 biLSTM-CRF의 조합이 시퀀스 레이블링 작업에서 최고의 F1 점수 0.77를 기록하여, 문맥 모델링의 가치를 입증하였다.
• 결과는 대규모 도메인 특화 코퍼스를 활용해 사전 훈련된 임베딩을 훈련하는 것이 저자원 생물의학 NLP 작업에서 NLU 성능 향상에 필수적임을 확인한다.