[논문 리뷰] Did You Really Just Have a Heart Attack? Towards Robust Detection of Personal Health Mentions in Social Media

Payam Karisani, Eugene Agichtein|arXiv (Cornell University)|2018. 02. 26.

Topic Modeling참고 문헌 40인용 수 4

한 줄 요약

이 논문은 왜곡된 단어 임베딩과 하이브리드 특징을 활용하여 사회미디어에서 개인 건강 언급(PHM)을 탐지하는 강건하고 저자원 기반의 방법인 WESPAD를 소개한다. 특히 훈련 데이터가 제한된 경우에도 최신 기술보다 뛰어난 성능을 보이며, 독감 및 다중 질환 벤치마크에서 뛰어난 F1 스코어를 기록하여 희귀하거나 모호하게 표현된 건강 이벤트에 대한 강력한 일반화 능력을 입증한다.

ABSTRACT

Millions of users share their experiences on social media sites, such as Twitter, which in turn generate valuable data for public health monitoring, digital epidemiology, and other analyses of population health at global scale. The first, critical, task for these applications is classifying whether a personal health event was mentioned, which we call the (PHM) problem. This task is challenging for many reasons, including typically short length of social media posts, inventive spelling and lexicons, and figurative language, including hyperbole using diseases like "heart attack" or "cancer" for emphasis, and not as a health self-report. This problem is even more challenging for rarely reported, or frequent but ambiguously expressed conditions, such as "stroke". To address this problem, we propose a general, robust method for detecting PHMs in social media, which we call WESPAD, that combines lexical, syntactic, word embedding-based, and context-based features. WESPAD is able to generalize from few examples by automatically distorting the word embedding space to most effectively detect the true health mentions. Unlike previously proposed state-of-the-art supervised and deep-learning techniques, WESPAD requires relatively little training data, which makes it possible to adapt, with minimal effort, to each new disease and condition. We evaluate WESPAD on both an established publicly available Flu detection benchmark, and on a new dataset that we have constructed with mentions of multiple health conditions. Our experiments show that WESPAD outperforms the baselines and state-of-the-art methods, especially in cases when the number and proportion of true health mentions in the training data is small.

연구 동기 및 목표

• 비공식적이고 짧은 소셜 미디어 게시물에서 은유어와 희귀 질환으로 인해 높은 거짓 양성률을 유발하는 진정한 개인 건강 언급을 탐지하는 데 도전하는 것.
• 노력이 많이 들지 않는 특징 공학을 피하고, 최소한의 레이블된 데이터로 다양한 질병에 대해 일반화할 수 있는 방법을 개발하는 것.
• 일반적으로 과장되게 사용되는 질환인 뇌졸중이나 암과 같은 질환의 탐지 정확도를 향상시키는 것.
• 소셜 미디어에서 자가 보고된 건강 이벤트를 정확하게 식별하여 확장 가능하고 실시간 공중보건 감시를 가능하게 하는 것.
• 새로운 질환에 빠르게 적응할 수 있도록, 대규모 질환 전용 훈련 세트에 의존하는 것을 줄이는 것.

제안 방법

• WESPAD는 소셜 미디어에서 개인 건강 언급을 탐지하기 위해 어휘적, 문법적, 단어 임베딩 기반, 그리고 맥락 기반 특징을 통합한다.
• 소수의 양성 예제에서 특징 학습을 향상시키기 위해 새로운 단어 임베딩 공간 왜곡 기법을 도입한다.
• 훈련 데이터 분포에 기반해 단어 벡터 표현을 개선하기 위해 we_distortion 및 we_partitioning 특징을 사용한다.
• 저자원 환경에서 정보가 많은 특징을 우선시하기 위해 개별 인스턴스 기반 특징 가중치(IG-가중치)를 적용한다.
• 맥락 이해를 향상시키기 위해 이전 및 이후 단어의 맥락 특징을 통합한다.
• 희소하고 노이즈가 많은 소셜 미디어 텍스트에서 효과적인 표현을 자동으로 학습함으로써 수동 특징 공학을 피한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 부족한 상황에서도 높은 재현율과 정밀도로 소셜 미디어에서 개인 건강 언급을 탐지할 수 있는가?
• RQ2 저자원 환경에서 WESPAD는 최신 기술 기반 딥러닝 모델과 비교해 어떻게 성능을 내는가?
• RQ3 은유어어와 희귀 질환 존재 시 단어 임베딩 공간의 왜곡이 탐지 성능에 얼마나 기여하는가?
• RQ4 재학습이나 수동 특징 공학 없이도 WESPAD는 여러 질환에 일반화할 수 있는가?
• RQ5 맥락 및 문법적 특징의 포함 여부가 모호한 건강 언급에 대한 성능에 어떤 영향을 미치는가?

주요 결과

• WESPAD는 PHM2017 데이터셋에서 F1 스코어 0.695를 기록하여, LSTM 및 CNN과 같은 딥러닝 모델을 포함한 모든 베이스라인을 능가했다.
• FLU2013 벤치마크에서 WESPAD는 F1 스코어 0.712를 기록하여 최고의 베이스라인(ME+lex)보다 0.055 F1 포인트 높았다.
• 양성 훈련 예제의 20%만으로도 WESPAD는 F1 스코어 0.658을 달성했으며, ME+lex의 0.564보다 높아 소수의 예제에서 강력한 일반화 능력을 입증했다.
• we_distortion 및 we_partitioning 특징이 성능 향상에 가장 기여했으며, 각각 기준 모델 대비 F1 스코어를 7.4%와 6.1% 향상시켰다.
• 10%~30%의 양성 예제가 있는 저데이터 환경에서 WESPAD는 ME+lex 및 룰 기반 모델을 모두 압도적으로 능가하여 데이터 부족에 대한 강건성을 입증했다.
• 특징 제거 실험 결과, 맥락 기반 특징(context_next, context_prev)과 문법적 특징도 의미 있는 기여를 하였지만, 단어 임베딩 기반 특징만큼은 아니었다.