[논문 리뷰] The Effect of Social Feedback in a Reddit Weight Loss Community

Tiago Oliveira Cunha, Ingmar Weber외 2명|arXiv (Cornell University)|2016. 02. 25.

Social Media and Politics참고 문헌 15인용 수 4

한 줄 요약

이 연구는 레딧 r/loseit 커뮤니티의 初기 37,278개의 게시물에 마할라노비스 거리 매칭을 적용하여, 사용자의 첫 번째 게시물에 대해 상호작용 피드백(예: 업보트 또는 긍정적 댓글)을 받을 경우, 언어적 차이를 보정한 후에도 약 18% 더 높은 재방문 가능성을 가짐을 보여준다. 이후 게시물에서는 이 효과가 감소함을 통해 초기 상호작용에서 피드백이 가장 중요하다는 점을 확인한다.

ABSTRACT

It is generally accepted as common wisdom that receiving social feedback is helpful to (i) keep an individual engaged with a community and to (ii) facilitate an individual's positive behavior change. However, quantitative data on the effect of social feedback on continued engagement in an online health community is scarce. In this work we apply Mahalanobis Distance Matching (MDM) to demonstrate the importance of receiving feedback in the "loseit" weight loss community on Reddit. Concretely we show that (i) even when correcting for differences in word choice, users receiving more positive feedback on their initial post are more likely to return in the future, and that (ii) there are diminishing returns and social feedback on later posts is less important than for the first post. We also give a description of the type of initial posts that are more likely to attract this valuable social feedback. Though we cannot yet argue about ultimate weight loss success or failure, we believe that understanding the social dynamics underlying online health communities is an important step to devise more effective interventions.

연구 동기 및 목표

• 온라인 식이조절 커뮤니티에서 첫 번째 게시물에 대한 사회적 피드백이 사용자 유지를 증가시키는지 조사하기.
• 사회적 피드백의 영향이 시간이 지남에 따라 감소하는지, 특히 다수의 게시물에 걸쳐 어떻게 변화하는지 규명하기.
• 초기 게시물에서 커뮤니티로부터 더 높은 수준의 사회적 피드백을 유도하는 특성들을 특정하기.
• 건강 중심 온라인 포럼에서 커뮤니티 참여를 이끄는 언어적 및 정서적 신호의 역할 이해하기.

제안 방법

• 유사한 初기 게시물 특성을 가진 사용자 간 비교 집단을 만들기 위해 마할라노비스 거리 매칭(MDM)을 적용함.
• VADER 감성 분석을 사용하여 댓글을 지지적 또는 비판적인 것으로 분류함. 다만 연구는 레이블 정확도에 잠재적 한계가 있음을 언급함.
• 사용자 재접속 행동을 추적하기 위해 첫 번째 게시물 이후 레딧 서브레딧에 다시 게시한 여부를 측정함.
• 댓글 수 상위 및 하위 10% 게시물에 대한 질적 분석을 수행하여, 더 높은 피드백을 유도하는 언어적 및 콘텐츠 패턴을 식별함.
• 업보트 및 긍정적 댓글과 같은 피드백 유형을 별도로 분석하여, 각각의 피드백이 재접속 확률에 미치는 영향을 평가함.
• 통계적 매칭을 통해 어휘 선택, 어휘 다양성 및 게시물 내용의 차이로 인한 혼란 요인을 최소화함.

실험 결과

연구 질문

• RQ1 r/loseit 커뮤니티에서 사용자의 첫 번째 게시물에 사회적 피드백을 받을 경우, 그 사용자가 해당 서브레딧에 다시 돌아올 가능성이 증가하는가?
• RQ2 후속 게시물에 대한 사회적 피드백이 초기 게시물의 피드백만큼 사용자 참여 유지에 영향을 미치는가?
• RQ3 초기 게시물의 어떤 특성이 커뮤니티로부터 더 높은 수준의 사회적 피드백을 유도하는가?

주요 결과

• 초기 게시물에서 더 많은 사회적 피드백을 받은 사용자는 언어적 콘텐츠의 차이를 보정한 후에도 향후 r/loseit 서브레딧에 재접속할 가능성이 약 18% 더 높았다.
• 사회적 피드백이 재접속 가능성에 미치는 긍정적 영향은 후속 게시물로 갈수록 뚜렷하게 감소하여 시간이 지남에 따라 '수익 감소' 현상이 나타남을 시사한다.
• imgur에서 가져온 이미지(일반적으로 전후 신체 변화 사진)를 포함한 게시물은 사회적 피드백을 더 많이 유도하는 경향이 있어, 시각 콘텐츠가 참여도를 높이는 데 기여함을 시사한다.
• 자동화된 감성 분석을 사용했음에도 불구하고, 부정적으로 들릴 수 있는 댓글(예: '너 진짜 날씬한 녀석이야, 빌어먹게')조차도 종종 지지적인 톤을 띠었으며, 이는 일반적으로 긍정적인 커뮤니티 문화를 반영한다.
• 연구는 '비만에 대한 비하'나 해로운 댓글이 널리 퍼져 있음을 발견하지 못했으며, 이는 잠재적인 위협이 있음에도 불구하고 커뮤니티 환경이 대부분 지지적인 편임을 시사한다.
• 피드백 수가 약 4~5건에 도달한 후에는 재접속 가능성 향상 폭이 정체되어 추가 피드백이 추가적인 이득을 주지 못하는 포화점이 존재함을 확인함.