[논문 리뷰] Can x2vec Save Lives? Integrating Graph and Language Embeddings for Automatic Mental Health Classification

Alexander Ruch|arXiv (Cornell University)|2020. 01. 04.

Mental Health via Writing참고 문헌 51인용 수 6

한 줄 요약

이 논문은 온라인 지원 그룹에서 희귀 사건인 자살충동을 포함한 정신건강 분류를 향상시키기 위해 그래프 임베딩(metapath2vec)과 언어 임베딩(doc2vec)을 통합하는 것을 제안한다. 관계적 네트워크 구조와 언어적 내용을 결합함으로써, 통합 모델은 자살충동 예측에 대해 90%의 정확도를 달성한다—이는 각각 단독으로 사용할 경우보다 유의하게 높은 성능(각각 69% 및 76%)을 보이며, 거짓 양성률은 10%, 거짓 음성률은 12%에 그친다.

ABSTRACT

Graph and language embedding models are becoming commonplace in large scale analyses given their ability to represent complex sparse data densely in low-dimensional space. Integrating these models' complementary relational and communicative data may be especially helpful if predicting rare events or classifying members of hidden populations - tasks requiring huge and sparse datasets for generalizable analyses. For example, due to social stigma and comorbidities, mental health support groups often form in amorphous online groups. Predicting suicidality among individuals in these settings using standard network analyses is prohibitive due to resource limits (e.g., memory), and adding auxiliary data like text to such models exacerbates complexity- and sparsity-related issues. Here, I show how merging graph and language embedding models (metapath2vec and doc2vec) avoids these limits and extracts unsupervised clustering data without domain expertise or feature engineering. Graph and language distances to a suicide support group have little correlation ( {ho} < 0.23), implying the two models are not embedding redundant information. When used separately to predict suicidality among individuals, graph and language data generate relatively accurate results (69% and 76%, respectively); however, when integrated, both data produce highly accurate predictions (90%, with 10% false-positives and 12% false-negatives). Visualizing graph embeddings annotated with predictions of potentially suicidal individuals shows the integrated model could classify such individuals even if they are positioned far from the support group. These results extend research on the importance of simultaneously analyzing behavior and language in massive networks and efforts to integrate embedding models for different kinds of data when predicting and classifying, particularly when they involve rare events.

연구 동기 및 목표

• 희귀 정신건강 이벤트(예: 자살충동)를 희소하고 은밀한 온라인 커뮤니티에서 예측하는 데 도전하는 것.
• 데이터 희소성과 고차원성으로 인해 표준 네트워크 분석 및 자연어 처리(NLP) 분석의 한계를 극복하는 것.
• 그래프 임베딩과 언어 임베딩이 상호 보완적인 정보를 포착하는지 여부를 평가하는 것.
• 도메인 전문 지식이나 특징 공학 없이도 예측 정확도를 향상시킬 수 있는 통합 임베딩 모델을 개발하는 것.
• 모델이 네트워크 공간에서 알려진 지원 그룹으로부터 거리가 먼 경우에도 위험에 처한 개인을 탐지할 수 있는 능력을 평가하는 것.

제안 방법

• 이질적 네트워크 구조를 기반으로 관계적 및 구조적 유사성을 포착하는 저차원 그래프 임베딩을 생성하기 위해 metapath2vec를 사용한다.
• Reddit의 r/SuicideWatch에서 사용자가 제출한 텍스트로부터 밀도 높은 문서 수준의 임베딩을 생성하기 위해 doc2vec를 적용한다.
• 그래프 임베딩과 언어 임베딩을 통합하여 분류 성능을 향상시키기 위해 공동 표현 공간에 통합한다.
• 그래프 임베딩과 언어 임베딩 간의 재중복 정도를 평가하기 위해 코사인 유사도와 상관 분석(Pearson ρ)을 사용한다.
• 제출 행동을 기반으로 자살충동을 예측하기 위해 통합 임베딩에 이진 분류기를 훈련하고 평가한다.
• 모델 성능 평가를 위해 임베딩 공간을 시각화하여, 알려진 지원 그룹에 가까운 위치에 있지 않은 경우에도 위험에 처한 개인을 식별할 수 있는지 확인한다.

실험 결과

연구 질문

• RQ1 그래프 임베딩과 언어 임베딩가 자살충동 예측에서 얼마나 많은 부분을 재중복된 정보가 아닌 상호 보완적인 정보로 포착하는가?
• RQ2 그래프 임베딩과 언어 임베딩을 통합하면, 각각 단독으로 사용할 경우보다 희귀 정신건강 이벤트의 예측 정확도를 유의미하게 향상시킬 수 있는가?
• RQ3 통합 모델은 자살충동 위험에 처한 개인을 식별할 때 거짓 양성률과 거짓 음성률을 감소시키는가?
• RQ4 모델은 네트워크 공간에서 알려진 지원 그룹으로부터 구조적으로 멀리 떨어져 있는 사람들을 조차도 잠재적으로 자살충동이 있는 것으로 탐지할 수 있는가?
• RQ5 도메인 특화 특징 공학 없이도 비지도 군집화에서 모델의 성능은 어떠한가?

주요 결과

• 통합 모델은 자살충동 예측에 대해 90%의 정확도를 달성하였으며, 거짓 양성률은 10%, 거짓 음성률은 12%에 그쳤다.
• 그래프 임베딩 단독으로는 69%의 정확도를, 언어 임베딩 단독으로는 76%의 정확도를 기록하여 통합이 상당한 성능 향상을 이끌어냈다는 것을 확인하였다.
• 자살 지원 그룹으로부터의 그래프 임베딩 거리와 언어 임베딩 거리 간 상관관계는 낮았으며(ρ < 0.23), 이는 두 임베딩이 중복되지 않는 보완적인 정보를 포착하고 있음을 확인한다.
• 시각화 결과 통합 모델이 네트워크상에서 자살 지원 그룹으로부터 멀리 떨어져 있는 사람들을 조차도 위험에 처한 개인으로 식별할 수 있음을 보여주며, 구조적 고립에 대비한 강건성을 시사한다.
• 모델는 도메인 전문 지식이나 수동적 특징 공학 없이도 위험에 처한 개인을 성공적으로 식별하였으며, 이는 확장성과 일반화 능력을 입증한다.
• 결과는 행동적(네트워크) 및 언어적(텍스트) 지표를 결합하는 데 임상적 가치가 있음을 지지하며, 두 형태의 증거를 모두 활용하는 진단 관행과 부합한다.