[논문 리뷰] Who is Authoritative? Understanding Reputation Mechanisms in Quora

Sharoda A. Paul, Lichan Hong외 1명|arXiv (Cornell University)|2012. 04. 17.

Expert finding and Q&A systems참고 문헌 16인용 수 64

한 줄 요약

이 연구는 Quora에서 60개 주제와 3,917명의 사용자를 대상으로 한 사용자 행동 분석 및 심층 인터뷰를 통해 명성과 권위 메커니즘을 조사한다. 연구 결과, 사용자들은 주로 전문가나 직접 경험자가 작성한 주요 자료를 권위 있는 것으로 인식하며, 과거 기여를 바탕으로 명성을 평가한다. 또한 사회적 투표는 콘텐츠 탐색에 도움이 되지만 선호적 연결(preferential attachment)의 영향을 받는다는 점을 확인했으며, 이는 높은 품질의 콘텐츠를 효과적으로 홍보하기 위해 투표와 지능형 랭킹 알고리즘을 조합할 필요성을 시사한다.

ABSTRACT

As social Q&A sites gain popularity, it is important to understand how users judge the authoritativeness of users and content, build reputation, and identify and promote high quality content. We conducted a study of emerging social Q&A site Quora. First, we describe user activity on Quora by analyzing data across 60 question topics and 3917 users. Then we provide a rich understanding of issues of authority, reputation, and quality from in-depth interviews with ten Quora users. Our results show that primary sources of information on Quora are judged authoritative. Also, users judge the reputation of other users based on their past contributions. Social voting helps users identify and promote good content but is prone to preferential attachment. Combining social voting with sophisticated algorithms for ranking content might enable users to better judge others' reputation and promote high quality content.

연구 동기 및 목표

• Quora 사용자들이 다른 사용자와 콘텐츠의 권위를 어떻게 평가하는지 이해하는 것.
• 사회적 투표와 사용자 역사를 기반으로 한 명성 인식 형성 과정이 사회적 Q&A 플랫폼에서 어떻게 작용하는지 조사하는 것.
• 선호적 연결으로 인해 사회적 투표가 높은 품질의 콘텐츠를 홍보하는 데 한계를 가지는 이유를 분석하는 것.
• 사회 신호와 알고리즘적 랭킹을 융합함으로써 권위 있는 콘텐츠를 더 잘 식별하고 홍보할 수 있는 방법을 탐색하는 것.

제안 방법

• 60개 Quora 주제와 3,917명의 사용자에서 수집한 사용자 활동 데이터를 분석하여 참여 패턴과 명성 형성 과정을 연구하는 것.
• 10명의 Quora 사용자와의 심층 인터뷰를 통해 권위와 명성에 대한 사용자의 인식을 정성적으로 분석하는 것.
• Quora에서 사용자 신뢰도와 콘텐츠 품질을 확립하는 데 있어 주요 자료의 역할을 분석하는 것.
• 사회적 투표가 콘텐츠 가시성과 사용자 명성에 미치는 영향을 평가하고, 선호적 연결과 같은 편향을 식별하는 것.
• 사회적 투표와 알고리즘적 랭킹을 융합한 하이브리드 접근 방식을 제안하여 품질 감지 능력을 향상시키는 것.
• 정성적 및 정량적 데이터를 활용하여 Quora에서 명성이 어떻게 형성되고 유지되는지 평가하는 것.

실험 결과

연구 질문

• RQ1 Quora 사용자들은 다른 사용자와 콘텐츠의 권위를 어떻게 판단하는가?
• RQ2 Quora에서 사용자들이 명성을 평가할 때 영향을 미치는 요소는 무엇인가?
• RQ3 사회적 투표가 높은 품질의 콘텐츠 가시성에 얼마나 기여하는가?
• RQ4 사회적 투표가 높은 품질의 콘텐츠를 홍보하는 데 가지는 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 권위 있는 기여자와 콘텐츠를 더 잘 식별하고 홍보하기 위해 명성 메커니즘은 어떻게 개선될 수 있는가?

주요 결과

• 사용자들은 전문가나 직접 경험자가 작성한 주요 자료를 더 권위 있는 것으로 인식한다.
• Quora에서의 명성은 주로 사용자의 과거 기여에 기반하며, 일관되고 높은 품질의 기여는 신뢰도를 높이는 데 기여한다.
• 사회적 투표는 인기 있는 콘텐츠를 부각시키는 데 도움이 되지만, 이미 인기 있는 콘텐츠가 비례적으로 더 많은 노출를 얻는 선호적 연결 현상에 취약하다.
• 사회적 투표와 알고리즘적 랭킹을 융합하면 편향을 완화하고 높은 품질의 콘텐츠 식별 능력을 향상시킬 수 있다.
• 사용자들은 명성 평가 시 명시적 신호(예: 업보트)와 암시적 신호(예: 사용자 기여 이력 및 출처의 신뢰성)를 모두 활용한다.
• 인터뷰 결과, 사용자들은 기여의 투명성과 일관성을 명성의 핵심 지표로 간주한다.