[논문 리뷰] Tending Unmarked Graves: Classification of Post-mortem Content on Social Media

Jialun Aaron Jiang, Jed R. Brubaker|arXiv (Cornell University)|2019. 03. 22.

Mental Health via Writing참고 문헌 39인용 수 4

한 줄 요약

이 논문은 언어적 특징을 사용하여 사망자 소셜미디어 콘텐츠—기념된 사용자 프로필과 개별 댓글을 자동으로 탐지할 수 있는 머신러닝 분류기들을 제시한다. 870,326개의 MySpace 댓글을 기반으로 훈련된 모델들은 사망 직후에 사망자 사용자를 높은 정확도로 식별하며, Facebook 기념 그룹과 사망 공고 등 다른 플랫폼으로도 잘 일반화되어, 사망을 고려한 공감적인 플랫폼 설계와 데이터 과학 정확도 향상에 기여한다.

ABSTRACT

User-generated content is central to social computing scholarship. However, researchers and practitioners often presume that these users are alive. Failing to account for mortality is problematic in social media where an increasing number of profiles represent those who have died. Identifying mortality can empower designers to better manage content and support the bereaved, as well as promote high-quality data science. Based on a computational linguistic analysis of post-mortem social media profiles and content, we report on classifiers developed to detect mortality and show that mortality can be determined after the first few occurrences of post-mortem content. Applying our classifiers to content from two other platforms also provided good results. Finally, we discuss trade-offs between models that emphasize pre- vs. post-mortem precision in this sensitive context. These results mark a first step toward identifying mortality at scale, and show how designers and scientists can attend to mortality in their work.

연구 동기 및 목표

• 소셜미디어에서 사망자 사용자와 기념 콘텐츠를 자동으로 식별할 수 있는 방법의 부족을 해결하기 위해.
• 유족의 수동 보고에 의존하는 것을 줄이기 위해, 이는 느리고 일관성 없으며 정서적으로 부담스럽기 때문이다.
• 플랫폼 설계자와 데이터 과학자들이 시스템 설계와 종단적 연구에서 사망을 고려할 수 있도록 하기 위해.
• 높은 정확도로 사망 후 프로필과 개별 기념 댓글을 모두 탐지할 수 있는 분류기를 개발하기 위해.
• 민감한 맥락에서 사망 전과 사망 후 정밀도 사이의 윤리적 타협을 탐색하기 위해.

제안 방법

• 870,326개의 댓글을 포함한 2,688개의 공개 MySpace 프로필을 기반으로 지도 학습 기반 머신러닝 분류기(SVM, 로지스틱 회귀 등)를 훈련하였다.
• 어휘적, 문법적, 의미적(예: BERT 임베딩 포함) 세 가지 특징 세트를 사용하여 사망 후 콘텐츠의 언어적 징후를 포괄적으로 캡처하였다.
• 이러한 특징을 바탕으로 사용자 수준에서 프로필을, 개별 메시지 수준에서 댓글을 분류하였다.
• 보류된 데이터와 교차 플랫폼 테스트 세트를 사용하여 정밀도, 재현율, F1 점수를 통해 모델 성능을 평가하였다.
• 외부 데이터셋 두 개인 Facebook 기념 그룹과 신문 사망 공고에 훈련된 모델을 적용하여 일반화 능력을 테스트하였다.
• 사망 후 콘텐츠와 관련된 핵심 언어적 특징, 예를 들어 사망에 대한 언급, 슬픔 표현, 과거 시제 서술 등을 분석하여 모델의 해석 가능성 탐색

실험 결과

연구 질문

• RQ1 언어적 콘텐츠를 기반으로 머신러닝 모델이 소셜미디어 프로필을 사망 후 콘텐츠로 정확하게 분류할 수 있는가?
• RQ2 사용자 프로필에서 분리된 상태에서도 개별 댓글을 기념 콘텐츠로 신뢰성 있게 분류할 수 있는가?
• RQ3 어느 정도의 조기 댓글 패tern을 통해 사망 후 프로필을 사망 직후에 탐지할 수 있는가?
• RQ4 다른 플랫폼(예: MySpace, Facebook, 사망 공고)과 콘텐츠 유형 간에 분류기가 얼마나 잘 일반화되는가?
• RQ5 이 민감한 영역에서 사망 전 정밀도와 사망 후 정밀도 사이의 윤리적 타당성은 무엇인가?

주요 결과

• 분류기는 MySpace 데이터셋에서 F1 점수 0.85 이상을 기록하며 사망 후 프로필과 댓글을 높은 정확도로 탐지하였다.
• 몇 개의 메시지만으로도 사망 후 콘텐츠를 신뢰성 있게 탐지할 수 있어 조기 탐지의 가능성을 입증하였다.
• 모델은 Facebook 기념 그룹과 신문 사망 공고로도 잘 일반화되어, 교차 플랫폼에서의 강건성을 입증하였다.
• 과거 시제 언급, 슬픔 표현, 제3인칭 서술 등 언어적 특징은 사망 후 콘텐츠의 강력한 지표로 나타났다.
• 사망 후 정밀도를 우선시하는 모델이 사망 전 정확도를 우선시하는 모델보다 성능이 뛰어나, 특히 살아있는 사용자에 대한 가짜 양성 결과를 최소화하는 데 유리했다.
• 심지어 보수적인 레이블인 '가능성 있는 사망 후' 상태라도, 돌이킬 수 없는 조치 없이도 공감적인 설계에 기여할 수 있음을 이 연구는 시사한다.