[논문 리뷰] Designing Domain Specific Word Embeddings: Applications to Disease Surveillance.

Saurav Ghosh, Prithwish Chakraborty외 3명|arXiv (Cornell University)|2016. 03. 01.

Data-Driven Disease Surveillance인용 수 3

한 줄 요약

이 논문은 HealthMap 뉴스 코퍼스를 사용하여 질병 감시를 위한 도메인 특화된 word2vec 모델인 Dis2Vec을 소개한다. 질병 및 속성 임베딩을 학습함으로써 Dis2Vec은 표준 word2vec 방법에 비해 정확한 질병 분류 체계 구축과 유행병 예측에서 뛰어난 성능을 보이며, 질병 관련 의미를 보다 정밀하게 포착함을 입증한다.

ABSTRACT

Traditional disease surveillance can be augmented with a wide variety of realtime sources such as news and social media. However, these sources are in general unstructured and construction of surveillance tools such as taxonomical correlations and trace mapping involves considerable human supervision. In this paper, we motivate a disease vocabulary driven word2vec model (Dis2Vec) which we use to model diseases and constituent attributes as word embeddings from the HealthMap news corpus. We use these word embeddings to create disease taxonomies and evaluate our model accuracy against human annotated taxonomies. We compare our accuracies against several state-of-the art word2vec methods. Our results demonstrate that Dis2Vec outperforms traditional distributed vector representations in its ability to faithfully capture disease attributes and accurately forecast outbreaks.

연구 동기 및 목표

• 비구조화된 텍스트에서의 질병 분류 체계 자동 생성을 통해 질병 감시의 인간 감시를 줄이기.
• 일반적인 단어 임베딩이 미세한 질병 속성과 관계를 포착하는 데 한계가 있음을 해결하기.
• 유행병 예측 및 의미 모델링을 향상시키기 위해 질병 어휘 기반의 단어 임베딩 모델을 개발하기.
• 모델 성능을 인간 애너테이션 기반 분류 체계와 최신 word2vec 방법들과 비교 평가하기.

제안 방법

• 질병 관련 용어와 그 속성에 중점을 두고 HealthMap 뉴스 코퍼스에서 맞춤형 word2vec 모델(Dis2Vec)을 훈련하기.
• 질병 중심의 어휘를 활용해 스위프그램 아키텍처를 개선하여 질병 특화 의미 표현을 향상시키기.
• 증상, 전파 방식, 병원체와 같은 질병과 그 속성 간의 관계를 코딩한 조밀한 벡터 표현(단어 임베딩)을 학습하기.
• 학습된 임베딩을 활용해 벡터 유사도와 군집화를 통해 계층적 질병 분류 체계를 구축하기.
• 모델이 생성한 구조를 황금 표준인 인간 애너테이션 기반 분류 체계와 비교하여 분류 정확도 평가하기.
• 분류 체계 구축 및 유행병 예측 과업에서 Dis2Vec의 성능을 여러 최신 word2vec 변종들과 비교 벤치마킹하기.

실험 결과

연구 질문

• RQ1 일반적인 단어 임베딩에 비해 질병 특화 word2vec 모델이 질병 분류 체계 구축 정확도를 향상시킬 수 있는가?
• RQ2 Dis2Vec이 학습된 임베딩을 통해 증상, 병원체, 전파 경로와 같은 질병 속성을 얼마나 잘 포착할 수 있는가?
• RQ3 표준 word2vec 및 기타 최신 방법들과 비교했을 때 Dis2Vec은 유행병 예측에서 어떤 성능을 보이는가?
• RQ4 word2vec 훈련 과정에 도메인 특화 어휘를 통합함으로써 공중보건 감시에 더 의미적으로 충실한 표현을 얻을 수 있는가?

주요 결과

• Dis2Vec은 인간 애너테이션 기반 황금 표준과 일치하는 질병 분류 체계를 구축하는 데 있어 표준 word2vec 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 벡터 유사도 분석을 통해 병원체 유형 및 전파 메커니즘과 같은 질병 속성을 향상된 능력으로 포착함을 입증했다.
• 더 의미적으로 유의미한 임베딩을 활용함으로써 Dis2Vec은 유행병 예측 정확도를 높였다.
• 훈련 과정에서 질병 중심 어휘를 사용함으로써 일반 코퍼스에 비해 더 충실하고 실질적인 표현을 도출할 수 있었다.