[논문 리뷰] Survey of Text-based Epidemic Intelligence: A Computational Linguistic Perspective

Aditya Joshi, Sarvnaz Karimi외 3명|arXiv (Cornell University)|2019. 03. 14.

Data-Driven Disease Surveillance참고 문헌 61인용 수 3

한 줄 요약

이 종합 검토는 텍스트 기반 전염병 지능을 위한 계산어학 프레임워크를 제시하며, 질병 관련 텍스트를 식별하는 건강 언급 분류(health mention classification)와 시간 또는 공간에 따라 유행병을 추적하는 건강 사고 감지(health event detection)로 접근 방식을 분류한다. 자연어 처리(NLP) 기법, 어노테이션 자원, 평가 전략을 검토하며, 거짓 경고 감소, 실시간 감지 기능 향상, 신체적, 정신적, 동물성 건강 영역 간 겹치는 증상 통합 등 핵심 연구 격차를 밝혀낸다.

ABSTRACT

Epidemic intelligence deals with the detection of disease outbreaks using formal (such as hospital records) and informal sources (such as user-generated text on the web) of information. In this survey, we discuss approaches for epidemic intelligence that use textual datasets, referring to it as `text-based epidemic intelligence'. We view past work in terms of two broad categories: health mention classification (selecting relevant text from a large volume) and health event detection (predicting epidemic events from a collection of relevant text). The focus of our discussion is the underlying computational linguistic techniques in the two categories. The survey also provides details of the state-of-the-art in annotation techniques, resources and evaluation strategies for epidemic intelligence.

연구 동기 및 목표

• 웹에서의 비공식 텍스트 데이터를 활용해 텍스트 기반 전염병 지능에 대한 종합적인 계산어학적 시각을 제공하기 위해.
• 소셜 미디어 및 뉴스와 같은 소스에서 비정형 텍스트를 이용해 유행병 발생을 조기에 탐지하는 데 도전하는 데 목적이 있다.
• 거짓 경고 감소, 실시간성 향상, 겹치는 증상 포함을 위한 감시 범위 확장 등 거짓 경고 감소, 실시간성 향상, 감시 범위 확대 등 핵심 연구 격차를 식별하기 위해.
• 건강 언급 및 사고 감지에 대한 기존 어노테이션 자원, 평가 전략, 최첨단 NLP 기법을 평가하기 위해.

제안 방법

• 텍스트 기반 전염병 지능을 두 단계로 분류한다: 건강 언급 분류(개별 텍스트 내 질병 관련 콘텐츠 탐지)와 건강 사고 감지(시간 또는 공간에 따라 관련 텍스트를 집계 및 분석).
• 의료 온톨로지, 통계적 분류기, 토픽 모델, 신경망과 같은 계산어학 기법을 건강 언급 분류에 적용한다.
• 시간적 및 공간적 분석 방법(예: 지수 가중 이동 평균)을 적용하여 시간적·지리적 전염병 유행을 탐지한다.
• 표준 평가 지표를 사용해 성능을 평가하며, NLP 구성 요소에서 작업 특화 기능과 파ip라인 통합의 중요성을 강조한다.
• 정밀도 향상과 거짓 경고 감소를 위해 비유적 언어 탐지 및 스팸 필터링 통합을 제안한다.
• 공통 증상 모델링을 통해 신체 질환, 정신 건강, 동물성 질환 감시를 통합할 잠재력을 탐색한다.

실험 결과

연구 질문

• RQ1 계산어학 기법은 비정형 텍스트에서 유행병 발생을 탐지하는 정확성과 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 소셜 미디어에서 실제 건강 언급과 비유적 언어 또는 임상적이지 않은 언어를 구분하는 데 있어 핵심 과제는 무엇인가?
• RQ3 건강 사고 감지 시스템은 어떻게 실시간에 가까운 성능을 달성하여 신속한 공중보건 대응을 가능하게 할 수 있는가?
• RQ4 신체적, 정신적, 동물성 건강 간 겹치는 증상 패턴을 어떻게 모델링하여 감시 범위를 확장할 수 있는가?
• RQ5 의료 온톨로지 및 구조화된 지식 기반 자료는 텍스트 기반 전염병 지능 시스템의 성능 향상에 어떤 역할을 하는가?

주요 결과

• 초기 유행병 보고의 60퍼센트 이상이 소셜 미디어 및 온라인 포럼과 같은 비공식적 텍스트 기반 소스에서 유래한다.
• 의료 온톨로지와 작업 특화 기능의 사용으로 건강 언급 분류가 크게 향상되어 탐지 정밀도가 향상된다.
• 개인 건강 언급 탐지 이전에 대상 식별을 통합하면 후속 건강 사고 감지 성능이 향상된다.
• 거짓 경고는 여전히 주요 과제이며, 특히 소셜 미디어에서의 비유적 언어와 스팸으로 인해 발생하므로 개선된 필터링 기법이 필요하다.
• 소셜 미디어 데이터를 활용한 실시간에 가까운 유행병 감지는 가능하지만, 데이터 통합 및 사고 모델링 과제는 여전히 존재한다.
• 미래의 전염병 지능 시스템은 공통 증상 패턴을 모델링하여 정신 건강 및 동물성 질환과 같은 관련 증후군을 통합해야 한다.