[논문 리뷰] Generalizable Natural Language Processing Framework for Migraine Reporting from Social Media

Yuting Guo, Swati Rajwal외 11명|PubMed|2022. 12. 23.

Health Literacy and Information Accessibility참고 문헌 14인용 수 4

한 줄 요약

이 논문은 5,750건의 트위터 및 302건의 Reddit 게시글을 기반으로 훈련된 플랫폼에 구애받지 않는 텍스트 분류 시스템을 사용하여 소셜 미디어에서 자가 보고한 편두통 논의를 탐지하기 위한 일반화 가능한 NLP 프레임워크를 제시한다. 트위터에서는 F1 스코어 0.90, Reddit에서는 F1 스코어 0.93를 기록하여 실제 온라인 논의에서 편두통 관련 치료법과 환자 정서를 견고하게 분석할 수 있다.

ABSTRACT

Migraine is a highly prevalent and disabling neurological disorder. However, information about migraine management in real-world settings is limited to traditional health information sources. In this paper, we (i) verify that there is substantial migraine-related chatter available on social media (Twitter and Reddit), self-reported by those with migraine; (ii) develop a platform-independent text classification system for automatically detecting self-reported migraine-related posts, and (iii) conduct analyses of the self-reported posts to assess the utility of social media for studying this problem. We manually annotated 5750 Twitter posts and 302 Reddit posts, and used them for training and evaluating supervised machine learning methods. Our best system achieved an F₁ score of 0.90 on Twitter and 0.93 on Reddit. Analysis of information posted by our 'migraine cohort' revealed the presence of a plethora of relevant information about migraine therapies and sentiments associated with them. Our study forms the foundation for conducting an in-depth analysis of migraine-related information using social media data.

연구 동기 및 목표

• 트위터 및 Reddit와 같은 소셜 미디어 플랫폼에서 상당한 편두통 관련 논의가 존재하는지 확인하는 것.
• 자기 보고한 편두통 게시글을 식별하기 위한 플랫폼 독립적인 텍스트 분류 시스템을 개발하는 것.
• 검출된 편두통 게시글의 내용을 분석하여 치료법과 환자 정서에 대한 통찰을 도출하는 것.

제안 방법

• 훈련 및 평가를 위한 골드 스탠다드 데이터셋을 만들기 위해 5,750건의 트위터 게시글과 302건의 Reddit 게시글을 수동으로 주석 처리하는 것.
• 다양한 소셜 미디어 텍스트를 대상으로 전이 학습 기반의 접근 방식을 사용하여 플랫폼 독립성을 보장하는 텍스트 분류 모델을 훈련하는 것.
• 정밀도와 재현율을 높이기 위해 다중 클래스 분류 전략을 사용하여 편두통 관련 콘텐츠를 탐지하는 것.
• 트위터 및 Reddit 데이터셋 양쪽에서 F1 스코어를 주요 평가 지표로 사용하여 모델 성능을 검증하는 것.
• 훈련된 모델을 적용하여 비정형 소셜 미디어 텍스트에서 편두통 치료법과 관련된 환자 정서 정보를 탐지하고 추출하는 것.

실험 결과

연구 질문

• RQ1 트위터와 Reddit에는 얼마나 많은 자가 보고된 편두통 관련 콘텐츠가 존재하는가?
• RQ2 단일 NLP 모델이 서로 다른 소셜 미디어 플랫폼 간에 일반화되어 편두통 관련 게시글을 탐지할 수 있는가?
• RQ3 치료법과 정서를 포함한 다양한 편두통 관련 정보는 소셜 미디어 게시글에서 어떻게 일반적으로 표현되는가?
• RQ4 제안된 프레임워크는 플랫폼 간에 자가 보고된 편두통 콘텐츠를 얼마나 정확하게 식별하는가?
• RQ5 검출된 편두통 게시글의 언어적 및 정서적 콘텐츠를 분석하여 어떤 통찰을 도출할 수 있는가?

주요 결과

• 프레임워크는 트위터에서 F1 스코어 0.90, Reddit에서 F1 스코어 0.93를 기록하여 플랫폼 간 강력한 일반화 능력을 입증하였다.
• 트위터와 Reddit 양쪽에서 자가 보고된 편두통 콘텐츠의 상당한 분량이 확인되어 이들이 데이터 소스로서의 유용성을 확인하였다.
• 분석을 통해 환자 경험과 치료 선호도를 포함한 다양한 편두통 치료법 정보가 드러났다.
• 특정 치료법과 관련된 환자 정서가 일관되게 포착되어 편두통 관리의 정서적 및 경험적 차원을 반영하였다.
• 모델의 높은 성능는 이 프레임워크가 편두통 관련 건강 논의를 실시간으로 대규모로 모니터링하는 데 잠재적 가능성을 보여주었다.