[논문 리뷰] Harvesting Collective Intelligence: Temporal Behavior in Yahoo Answers

Christina Aperjis, Bernardo A. Huberman외 1명|arXiv (Cornell University)|2010. 01. 13.

Expert finding and Q&A systems참고 문헌 14인용 수 8

한 줄 요약

이 논문은 Yahoo Answers 사용자가 정보 확보의 속도와 정확성 사이에서 어떻게 균형을 이루는지 분석하며, 답변 수에 대해 감소하는 한계 수익을 보이고, 질문당 답변 수가 역가우시안 분포를 따른다는 것을 발견한다—이는 임계값 기반의 의사결정 과정을 시사한다. 이 연구는 실제 세계 데이터의 실증 분석과 이론적 모델링을 결합하여 집단 지능 수확의 행동 패턴을 밝혀내며, Q&A 플랫폼 설계 최적화에 대한 함의를 제시한다.

ABSTRACT

When harvesting collective intelligence, a user wishes to maximize the accuracy and value of the acquired information without spending too much time collecting it. We empirically study how people behave when facing these conflicting objectives using data from Yahoo Answers, a community driven question-and-answer site. We take two complementary approaches. We first study how users behave when trying to maximize the amount of the acquired information, while minimizing the waiting time. We identify and quantify how question authors at Yahoo Answers trade off the number of answers they receive and the cost of waiting. We find that users are willing to wait more to obtain an additional answer when they have only received a small number of answers; this implies decreasing marginal returns in the amount of collected information. We also estimate the user's utility function from the data. Our second approach focuses on how users assess the qualities of the individual answers without explicitly considering the cost of waiting. We assume that users make a sequence of decisions, deciding to wait for an additional answer as long as the quality of the current answer exceeds some threshold. Under this model, the probability distribution for the number of answers that a question gets is an inverse Gaussian, which is a Zipf-like distribution. We use the data to validate this conclusion.

연구 동기 및 목표

• 커뮤니티 기반 Q&A 플랫폼에서 사용자가 정보 확보 속도와 답변 정확성 사이에서 어떻게 균형을 이루는지 이해하는 것.
• 수신한 답변의 수와 질에 따라 질문 작성자가 질문을 언제 닫을지 결정하는 정지 행동을 모델링하는 것.
• 질문당 답변 수가 제프-유사 분포를 따르는지 테스트하는 것—이는 임계값 기반의 의사결정 과정을 시사한다.
• 답변 수와 대기 시간을 고려한 사용자 유틸리티 함수를 추정하여 감소하는 한계 수익을 드러내는 것.
• 사회적 순수익을 극대화하기 위해 질문의 최적 위치 전략을 규명함으로써 플랫폼 설계에 통찰을 제공하는 것.

제안 방법

• 사용자가 시간과 정보 제약 하에서 유틸리티를 극대화한다고 가정하고, 실제 Yahoo Answers 데이터를 실증적으로 분석하여 답변 수와 대기 시간 사이의 트레이드오프를 모델링하는 것.
• 감소하는 한계 수익을 보여주는 데이터에서 오목한 유틸리티 함수를 추정하는 것.
• 사용자 의사결정을 임계값 기반의 정지 규칙으로 모델링: 사용자는 현재 답변의 가치가 임계값을 초과하는 한 기다린다.
• 임계값 모델 하에서 답변 수가 역가우시안 분포를 따른다는 것을 도출하며, 이는 尾행동에서 제프-유사한 성질을 띤다.
• 최대우도추정법을 사용하여 데이터에 역가우시안 분포를 적합시키며, 매개변수 μ = 6.1 및 λ = 5.8를 사용한다.
• 실증 누적분포함수와 빈도분포의 로그-로그 플롯을 사용하여 모델을 검증하는 것.

실험 결과

연구 질문

• RQ1 Yahoo Answers에서 사용자는 답변 수 수확과 대기 시간 사이에서 어떻게 균형을 이루는가?
• RQ2 답변 수와 대기 비용을 고려할 때 사용자의 유틸리티 함수는 어떤 형태인가?
• RQ3 질문당 답변 수가 임계값 기반 의사결정 모델과 일치하는 분포를 따르는가?
• RQ4 역가우시안 분포가 답변 수의 실증 분포에 잘 적합한가?
• RQ5 사용자가 현재 답변의 가치가 임계값을 초과하는 한 기다리는 임계값 기반 의사결정 모델이 관측된 행동을 설명할 수 있는가?

주요 결과

• 사용자는 답변 수에 대해 감소하는 한계 수익을 보이며, 이는 답변 수에 대한 오목한 유틸리티 함수를 시사한다.
• 데이터에서 추정된 유틸리티 함수는 사용자가 첫 번째 몇 개의 답변을 얻기 위해 더 긴 시간을 기다릴 의지가 있음을 보여준다.
• 질문당 답변 수는 평균 μ = 6.1 및 척도 매개변수 λ = 5.8인 역가우시안 분포를 따르며, 실증 누적분포함수와 로그-로그 빈도 플롯을 통해 검증되었다.
• 로그-로그 척도에서 분포의 꼬리 부분은 기울기가 약 -3/2로 나타나, 역가우시안 모델이 예측한 제프-유사 행동을 확인한다.
• 사용자가 현재 답변의 가치가 일정 임계값을 초과하는 한 기다리는 임계값 기반 의사결정 모델이 관측된 답변 수 분포를 설명한다.
• 결과는 Q&A 플랫폼이 추정된 유틸리티 함수와 답변 분포 모델을 활용하여 질문의 가시성과 답변률을 최적화할 수 있음을 시사한다.