[논문 리뷰] Measuring Adolescents' Well-being: Correspondence of Naive Digital Traces to Survey Data

Елизавета Сивак, Ivan Smirnov|arXiv (Cornell University)|2020. 06. 19.

Impact of Technology on Adolescents참고 문헌 45인용 수 2

한 줄 요약

이 연구는 러시아의 소셜미디어 플랫폼 VK의 나이브한 디지털 트레이스와 144명의 고등학생을 대상으로 한 설문 기반의 청소년 정서적 복지 지표 간의 상관관계를 분석한다. 온라인 행동, 예를 들어 저녁 늦은 시간의 게시, 게시물의 정서적 성향, 온라인 친구 관계 지표 등이 우울감, 수면 품질, 사회적 융합성과 같은 핵심 정서적 복지 지표와 약한 유의미한 상관관계를 보이며, 이는 디지털 트레이스가 설문 조사의 보조 자료로는 유용하지만 대체 자료로는 부적절하다는 것을 시사한다.

ABSTRACT

Digital traces are often used as a substitute for survey data. However, it is unclear whether and how digital traces actually correspond to the survey-based traits they purport to measure. This paper examines correlations between self-reports and digital trace proxies of depression, anxiety, mood, social integration and sleep among high school students. The study is based on a small but rich multilayer data set (N = 144). The data set contains mood and sleep measures, assessed daily over a 4-month period, along with survey measures at two points in time and information about online activity from VK, the most popular social networking site in Russia. Our analysis indicates that 1) the sentiments expressed in social media posts are correlated with depression; namely, adolescents with more severe symptoms of depression write more negative posts, 2) late-night posting indicates less sleep and poorer sleep quality, and 3) students who were nominated less often as somebody's friend in the survey have fewer friends on VK and their posts receive fewer "likes." However, these correlations are generally weak. These results demonstrate that digital traces can serve as useful supplements to, rather than substitutes for, survey data in studies on adolescents' well-being. These estimates of correlations between survey and digital trace data could provide useful guidelines for future research on the topic.

연구 동기 및 목표

• 소셜미디어에서 유도된 디지털 트레이스가 청소년 정서적 복지 지표를 대체로 유효하게 반영하는지 평가하기.
• 게시물의 정서적 성향, 게시 시간, 상호작용 빈도와 같은 온라인 행동이 자가 보고한 우울감, 불안, 기분, 수면, 사회적 융합성과 어떻게 관련되어 있는지 조사하기.
• 온라인 친구 관계 및 인기도 지표가 고등학생들의 실제 친구 관계와 학교 내 사회적 지위를 어떻게 반영하는지 탐색하기.
• 미래 연구를 위한 바탕이 되는, 디지털 트레이스 데이터와 설문 기반 심리적 측정치 간의 상관관계 강도에 대한 실증적 추정치 제공하기.

제안 방법

• 144명의 고등학생으로부터 4개월 동안 모바일 앱을 통해 매일의 기분과 수면 데이터를 수집.
• 기초 및 종료 시점에 두 차례 설문 조사로 우울감, 불안, 사회적 유대 관계를 평가.
• VK에서 게시물의 정서적 성향, 게시 시간(예: 저녁 늦은 시간 활동), 상호작용 지표(예: 좋아요 수, 상호 친구 지목 수) 등의 디지털 트레이스를 추출.
• 다중 수준 모델링과 상관관계 분석을 사용하여 디지털 트레이스 변수와 설문 결과 간의 관계를 검증.
• 선형 및 로지스틱 회귀 분석을 활용해 온라인 네트워크 특성 기반으로 오프라인 친구 관계 가능성 모델링.
• 동료 지목 상태(인기/비인기)에 따라 하위군을 비교하여 민감도 분석 수행.

실험 결과

연구 질문

• RQ1 청소년들이 소셜미디어 게시물에서 표현하는 정서적 성향이 자가 보고한 우울감 및 불안 수준과 어느 정도 상관관계가 있는가?
• RQ2 소셜미디어 게시의 시간과 빈도는 청소년의 보고한 수면 시간과 수면 품질과 어떻게 관련되어 있는가?
• RQ3 VK에서의 온라인 친구 관계 지표(예: 친구 수, 좋아요 수)는 실제로 학교 내 친구 인기도와 사회적 융합성을 예측할 수 있는가?
• RQ4 온라인 상호작용 지표(예: 상호 좋아요)는 고등학생 간의 오프라인 친구 관계를 반영하는가?

주요 결과

• 자기 보고한 우울 증상이 높은 청소년은 더 부정적인 정서를 지닌 소셜미디어 게시물을 올렸으며, 이는 중간 정도의 상관관계(r = 0.28, 95% CI [0.008, 0.44])를 보였다.
• 새벽 1시~5시 사이의 게시 활동은 수면 시간이 짧아지며(표준편차 기준 평균 차이: 0.87), 수면 품질이 떨어지는 데 유의미하게 관련되어 있었다(p = 0.02).
• 동료가 비인기로 지목한 학생들은 비인기로 지목되지 않은 학생들보다 평균적으로 같은 학교 소속 VK 친구 수가 1.5배 적었다(p < 10−4).
• 인기로 지목된 학생들은 비인기로 지목되지 않은 학생들보다 평균적으로 같은 학교 소속 VK 친구 수가 1.5배 많고, 유의미하게 더 많은 좋아요를 받았다(p < 10−4).
• VK에서 상호 좋아요를 누른 쌍 중 실제로 오프라인 친구인 경우는 11%에 불과했으며, 전체 VK 친구 중 오프라인 친구 비율(5.6%)보다 높았다.
• 전반적으로 디지털 트레이스 측정치와 설문 기반 정서적 복지 지표 간의 상관관계는 약했으며, 95% 신뢰구간의 상한선을 고려할 때 최대 중간 정도의 효과 크기로 제한되었다.