[논문 리뷰] Hashtag Healthcare: From Tweets to Mental Health Journals Using Deep Transfer Learning

Benjamin Shickel, Martin Heesacker외 2명|arXiv (Cornell University)|2017. 08. 04.

Mental Health via Writing참고 문헌 30인용 수 8

한 줄 요약

이 논문은 공개된 트위터 데이터에서 훈련된 정서적 밸런스 예측 모델을 개인 정신건강 일기로 이식하기 위해 딥 트랜스퍼 러닝을 사용하는 것을 제안한다. 이는 소규모이고 개인정보가 제약을 받는 데이터셋임에도 불구하고 사회 미디어 데이터가 정신건강 감성 분석의 정확성과 강건성을 크게 향상시킬 수 있음을 입증한다. 주요 결과로는 트위터에서 정신건강 일기로의 트랜스퍼 러닝이 오차를 최대 25% 감소시키며, 정서 언어에서 공개적 표현과 비공개적 표현 간의 작은 의미적 격차가 있음을 확인한다.

ABSTRACT

As the popularity of social media platforms continues to rise, an ever-increasing amount of human communication and self- expression takes place online. Most recent research has focused on mining social media for public user opinion about external entities such as product reviews or sentiment towards political news. However, less attention has been paid to analyzing users' internalized thoughts and emotions from a mental health perspective. In this paper, we quantify the semantic difference between public Tweets and private mental health journals used in online cognitive behavioral therapy. We will use deep transfer learning techniques for analyzing the semantic gap between the two domains. We show that for the task of emotional valence prediction, social media can be successfully harnessed to create more accurate, robust, and personalized mental health models. Our results suggest that the semantic gap between public and private self-expression is small, and that utilizing the abundance of available social media is one way to overcome the small sample sizes of mental health data, which are commonly limited by availability and privacy concerns.

연구 동기 및 목표

• 공개된 사회 미디어 텍스트를 활용해 레이블이 부여된 정신건강 데이터의 부족 문제를 해결하기 위해.
• 공개된 사회 미디어 언어가 개인 정신건강 일기 분석으로 효과적으로 전이될 수 있는지 조사하기 위해.
• 트랜스퍼 러닝을 활용해 인지행동치료에서 정서적 밸런스 예측의 정확성과 개인 맞춤화를 향상시키기 위해.
• 공개적 자아표현(트위터)과 비공개 정신건강 일기 쓰기 간의 의미 유사도를 평가하기 위해.
• 온라인 정신건강 상담 플랫폼에서 실시간 피드백을 제공할 수 있는 확장 가능하고 자동화된 도구를 개발하기 위해.

제안 방법

• 공개된 트위터 데이터셋에서 사전 훈련된 딥 네트워크를 정신건강 일기 항목의 분류에 맞게 미세조정한다.
• 사회 미디어 도메인에서 학습된 단어 표현과 문맥적 임bedding을 정신건강 도메인으로 이식하기 위해 트랜스퍼 러닝을 사용한다.
• 4개의 밸런스 카테고리인 긍정, 부정, 둘 다, 또는 둘 다 아님을 포함한 다중 클래스 분류 프레임워크를 적용한다.
• 모델 예측을 해석하고 일기 항목 내에서 주목할 만한 정서적 关련 키워드를 식별하기 위해 어텐션 메커니즘을 적용한다.
• 교차 엔트로피 손실과 Adam 최적화를 사용하여 모델을 훈련하고, 과적합을 방지하기 위해 조기 정지 기법을 적용한다.
• 미리 보지 못한 정신건강 테스트 세트에서 F1-_macro 및 가중 F1 점수를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 트랜스퍼 러닝이 공개 사회 미디어와 비공개 정신건강 일기 쓰기 간의 의미적 격차를 효과적으로 메울 수 있는가?
• RQ2 트위터 데이터에서 사전 훈련한 모델이 정신건강 일기에서의 밸런스 예측 정확도를 어느 정도 향상시키는가?
• RQ3 어텐션 메커니즘이 정신건강 내러티브에서 정서적으로 주목할 만한 단어를 어떻게 강조하는가?
• RQ4 공개적 표현과 비공개 정서 표현 간의 의미 유사성이 충분히 높아서 정신건강 적용 분야에서 트랜스퍼 러닝을 정당화할 수 있는가?
• RQ5 트랜스퍼 러닝 모델이 환자 내러티브에서 시간에 따라 미세한 정서 변화를 감지할 수 있는가?

주요 결과

• 트위터에서 정신건강 일기로의 트랜스퍼 러닝은 제한된 정신건강 데이터로 처음부터 훈련하는 것에 비해 오차율을 최대 25% 감소시켰다.
• 가장 성능이 뛰어난 모델은 정신건강 테스트 세트에서 가중 F1 점수 0.78을 기록하여 강력한 일반화 능력을 입증했다.
• 불안, 우려, 고통과 관련된 단어가 가장 높은 어텐션 가중치를 확보하여, 모델이 임상적으로 관련성이 높은 정서적 신호에 집중하고 있음을 확인했다.
• 모델은 환자 내러티브에서 정서의 진동과 개선 패턴을 성공적으로 식별하여 임상 피드백 활용에 기여했다.
• 공개적 표현과 비공개적 정서 표현 간의 의미적 격차는 충분히 작아서 밸런스 예측을 위한 효과적인 트랜스퍼 러닝을 가능하게 한다.
• 어텐션 메커니즘은 '걱정스럽다', '불안하다', '스트레스를 받는다', '압도당한다'와 같은 용어가 일관되게 부정적 밸런스 예측과 연관되어 있음을 드러냈다.