[논문 리뷰] Dynamics of Content Quality in Collaborative Knowledge Production

Emilio Ferrara, Nazanin Alipourfard외 3명|arXiv (Cornell University)|2017. 06. 10.

Expert finding and Q&A systems인용 수 7

한 줄 요약

이 연구는 2008년에서 2014년 사이의 Stack Exchange 데이터를 활용하여 공동 지식 생산에서 콘텐츠 품질의 역동성을 분석한다. 사용자 세션 내에서 일시적인 품질 저하—짧은 길이, 적은 링크와 코드 라인 수, 낮은 수락 비율—를 규명하였고, 장기적인 사용자 경력이 훨씬 더 높은 품질을 이끌어내는 것으로 나타나, 사용자 성과를 형성하는 데 피로와 학습이 공존함을 시사한다.

ABSTRACT

We explore the dynamics of user performance in collaborative knowledge production by studying the quality of answers to questions posted on Stack Exchange. We propose four indicators of answer quality: answer length, the number of code lines and hyperlinks to external web content it contains, and whether it is accepted by the asker as the most helpful answer to the question. Analyzing millions of answers posted over the period from 2008 to 2014, we uncover regular short-term and long-term changes in quality. In the short-term, quality deteriorates over the course of a single session, with each successive answer becoming shorter, with fewer code lines and links, and less likely to be accepted. In contrast, performance improves over the long-term, with more experienced users producing higher quality answers. These trends are not a consequence of data heterogeneity, but rather have a behavioral origin. Our findings highlight the complex interplay between short-term deterioration in performance, potentially due to mental fatigue or attention depletion, and long-term performance improvement due to learning and skill acquisition, and its impact on the quality of user-generated content.

연구 동기 및 목표

• 공동 지식 생산에서 사용자 성과가 시간에 따라 어떻게 변화하는지 이해하기 위해.
• 단기적 세션 동적 특성과 장기적 사용자 경력이 콘텐츠 품질에 독립적으로 영향을 미치는지 조사하기 위해.
• 성과 저하가 피로와 같은 인지적 요인 또는 행동의 이질성 때문인지 규명하기 위해.
• 경험이 많은 사용자가 초보자보다 일관되게 더 높은 품질의 콘텐츠를 생성하는지 평가하기 위해.
• 실시간으로 사용자 성과를 모니터링하고 최적화하는 지능형 시스템 설계를 뒷받침하기 위해.

제안 방법

• 시간 간격을 기반으로 사용자 활동을 세션으로 분할하여 단기적 행동 패턴을 분리한다.
• 답변 품질의 네 가지 정량적 지표를 사용: 길이, 코드 라인 수, 하이퍼링크 수, 질문자에 의한 수락 비율.
• 사용자 경력을 기준으로 10분위로 나누어 장기적 성과 추세를 분석한다.
• 세션 길이가 동일한 조건에서 초보자와 베테랑 사용자 간 성과를 비교하여 경험의 영향을 분리한다.
• 세션 순서와 경력 기간에 따른 품질 지표의 추세를 탐지하기 위해 통계 분석을 적용한다.
• 세션 내에서 유사한 노력 수준을 가진 사용자 간 비교를 통해 데이터의 이질성을 통제한다.

실험 결과

연구 질문

• RQ1 단일 사용자 세션 내에서 답변 품질은 어떻게 변화하는가?
• RQ2 장기적인 사용자 경력은 생산된 답변의 품질에 어떻게 영향을 미치는가?
• RQ3 초보자와 베테랑 사용자가 유사한 단기적 성과 저하를 보이는가?
• RQ4 사용자 경험은 단기적 품질 저하를 어느 정도 완화하거나 악화시키는가?
• RQ5 피로와 주의력 고갈과 같은 인지적 요인이 콘텐츠 품질 역동성에서 어떤 역할을 하는가?

주요 결과

• 단일 세션 내에서, 후속 답변일수록 길이가 짧아지고, 코드 라인과 하이퍼링크 수가 줄어들며, 수락 확률이 낮아져 단기적 성과 저하를 나타낸다.
• 베테랑 사용자는 세션 내 첫 답변에서 39%의 수락률을 기록하지만, 초보자 사용자는 22%로, 상대적 차이가 40%이다.
• 베테랑 사용자는 평균 72단어를 기록하는 반면, 초보자 사용자는 평균 60단어로, 길이에서 20%의 차이가 있다.
• 답변의 평균 코드 라인 수와 하이퍼링크 수 역시 베테랑 사용자가 초보자 사용자보다 20% 높은 값을 기록한다.
• 장시간 세션을 진행한 베테랑 사용자의 마지막 답변조차도 초보자 사용자의 첫 답변보다 품질이 높아, 경험의 장기적 우위를 입증한다.
• 사용자 경력이 증가할수록 모든 품질 지표에서 양호한 추세를 보이며, 상위 10분위의 베테랑 사용자 중 40%의 답변이 수락되었고, 가장 경력이 짧은 사용자 중에서는 25%에 그친다.