[논문 리뷰] How Community Feedback Shapes User Behavior

Justin Cheng, Cristian Danescu-Niculescu-Mizil외 1명|arXiv (Cornell University)|2014. 05. 06.

Opinion Dynamics and Social Influence참고 문헌 39인용 수 58

한 줄 요약

이 연구는 온라인 뉴스 커뮤니티에서 동료 피드백이 사용자 행동에 어떻게 영향을 미치는지 분석하며, 네 개의 대규모 댓글 기반 플랫폼에서 수집한 데이터를 사용한다. 연구 결과, 부정적 피드백은 게시 빈도를 증가시키고 콘텐츠 품질을 낮추는 것으로 나타났으며, 긍정적 피드백은 유의미한 영향을 미치지 않았다—이는 행동 조작 이론과 배치되며 커뮤니티 건강에 대한 피드백 영향의 핵심 비대칭성을 드러낸다.

ABSTRACT

Social media systems rely on user feedback and rating mechanisms for personalization, ranking, and content filtering. However, when users evaluate content contributed by fellow users (e.g., by liking a post or voting on a comment), these evaluations create complex social feedback effects. This paper investigates how ratings on a piece of content affect its author's future behavior. By studying four large comment-based news communities, we find that negative feedback leads to significant behavioral changes that are detrimental to the community. Not only do authors of negatively-evaluated content contribute more, but also their future posts are of lower quality, and are perceived by the community as such. Moreover, these authors are more likely to subsequently evaluate their fellow users negatively, percolating these effects through the community. In contrast, positive feedback does not carry similar effects, and neither encourages rewarded authors to write more, nor improves the quality of their posts. Interestingly, the authors that receive no feedback are most likely to leave a community. Furthermore, a structural analysis of the voter network reveals that evaluations polarize the community the most when positive and negative votes are equally split.

연구 동기 및 목표

• 온라인 커뮤니티에서 사용자 피드백(업/다운 투표)이 콘텐츠 기여자의 향후 행동에 어떻게 영향을 미치는지 이해하기 위해.
• 커뮤니티 피드백이 행동 조작 이론에 따라 작동하는지 테스트하기 위해—즉, 보상은 더 나은 행동을 장려하고, 처벌은 이를 감소시킨다.
• 기여자들이 향후 기여하는 데 있어 품질과 양에 대한 피드백의 영향을 정량화하기 위해.
• 피드백 영향을 증폭하거나 완화시킬 수 있는 투표자 네트워크의 구조적 패턴을 조사하기 위해.
• 사용자 행동과 커뮤니티 역학을 형성하는 데 있어 긍정적 피드백과 부정적 피드백 간의 비대칭성을 밝혀내기 위해.

제안 방법

• 기본적인 차이를 보정하기 위해, 유사한 피드백 수준을 받았지만 피드백 유형(긍정적 대비 부정적)이 다른 기여자를 비교하기 위해 적합도 스코어 매칭을 적용하였다.
• 인간이 애너테이션한 데이터로 훈련된 기계학습 모델을 사용하여 댓글의 텍스트 품질을 추정함으로써, 게시물 품질에 대한 객관적 측정을 가능하게 하였다.
• 통계적 검정력과 일반화 가능성을 확보하기 위해 총 4,200만 개의 댓글과 1억 4,000만 개의 투표를 포함한 네 개의 대규모 댓글 기반 뉴스 커뮤니티를 분석하였다.
• 피드백 집중 현상과 극화 패턴을 연구하기 위해 인기 있는 게시물 주변의 투표자 네트워크를 구축하고 분석하였다.
• 커뮤니티 피드백의 대리 지표로 업투표 비율의 신뢰성을 검증하기 위해 커스터마이징 실험을 실시하였다.
• 기여자의 행동 변화를 시간 경과에 따라 추적하였으며, 게시 주파수, 향후 게시물의 품질, 그리고 다른 사용자에 대한 후속 다운투표 여부를 포함하였다.

실험 결과

연구 질문

• RQ1 부정적 피드백을 받은 기여자는 향후 게시 행동에서 양과 품질 측면에서 어떻게 영향을 받는가?
• RQ2 긍정적 피드백은 기여자 행동에 미치는 영향이 어떻게 다른가—특히 콘텐츠 품질과 기여 빈도 측면에서?
• RQ3 피드백을 받지 않은 기여자들은 피드백을 받은 기여자들과 행동에서 얼마나 다를까?
• RQ4 투표자 네트워크의 구조—특히 투표 극화—는 피드백 영향의 확산에 어떻게 영향을 미치는가?
• RQ5 실제 온라인 커뮤니티에서 피드백 메커니즘이 행동 조작 이론의 예측과 얼마나 일치하는가?

주요 결과

• 부정적 피드백을 받은 기여자는 긍정적 피드백이나 피드백 없이도 훨씬 더 자주 기여한 것으로 나타났다.
• 부정적 피드백을 받은 기여자의 게시물은 인간 평가 기반 기계학습 모델로 측정한 결과, 낮은 품질을 보였다.
• 부정적 피드백은 기여자가 이후 다른 사용자에 대해 다운투표할 가능성을 뚜렷이 높였으며, 이는 부정적 행동이 커뮤니티 전반에 퍼지는 것을 시사한다.
• 긍정적 피드백은 게시 빈도 증가나 콘텐츠 품질 향상과 관련이 없었으며, 행동에 대한 강화 효과가 없음을 보여주었다.
• 피드백을 받지 않은 기여자는 커뮤니티를 떠날 가능성이 가장 높았으며, 이는 피드백—특히 부정적 피드백—이 유저 유지를 위한 메커니즘이 될 수 있음을 시사한다.
• 업투표와 다운투표가 균형을 이루었을 때 투표자 네트워크의 극화가 가장 심해졌으며, 이는 균형 잡힌 피드백이 사회적 갈라짐을 심화시킬 수 있음을 시사한다.