[논문 리뷰] The Size Conundrum: Why Online Knowledge Markets Can Fail at Scale

Himel Dev, Chase Geigle외 3명|arXiv (Cornell University)|2017. 12. 01.

Expert finding and Q&A systems참고 문헌 42인용 수 4

한 줄 요약

이 논문은 콘텐츠 생성 역학을 분석하기 위해 코브-도거러스 생산함수를 사용하여 스택오버플로우 커뮤니티 질문-답변 사이트를 지식 시장으로 모델링한다. 연구 결과, 더 큰 시장일수록 규모의 경제적 비효율성에 시달리는 경향이 있으며, 답변률과 같은 건강 지표가 규모 증가에 따라 감소함을 확인했다. 이는 수익 감소와 고도로 참여하는 사용자들의 비례적 증가가 이루어지지 않기 때문이다. 이는 사이트 운영자가 커뮤니티 규모에 맞는 인센티브를 설계해야 한다는 시사점을 제공한다.

ABSTRACT

In this paper, we interpret the community question answering websites on the StackExchange platform as knowledge markets, and analyze how and why these markets can fail at scale. A knowledge market framing allows site operators to reason about market failures, and to design policies to prevent them. Our goal is to provide insights on large-scale knowledge market failures through an interpretable model. We explore a set of interpretable economic production models on a large empirical dataset to analyze the dynamics of content generation in knowledge markets. Amongst these, the Cobb-Douglas model best explains empirical data and provides an intuitive explanation for content generation through concepts of elasticity and diminishing returns. Content generation depends on user participation and also on how specific types of content (e.g. answers) depends on other types (e.g. questions). We show that these factors of content generation have constant elasticity---a percentage increase in any of the inputs leads to a constant percentage increase in the output. Furthermore, markets exhibit diminishing returns---the marginal output decreases as the input is incrementally increased. Knowledge markets also vary on their returns to scale---the increase in output resulting from a proportionate increase in all inputs. Importantly, many knowledge markets exhibit diseconomies of scale---measures of market health (e.g., the percentage of questions with an accepted answer) decrease as a function of number of participants. The implications of our work are two-fold: site operators ought to design incentives as a function of system size (number of participants); the market lens should shed insight into complex dependencies amongst different content types and participant actions in general social networks.

연구 동기 및 목표

• 스택오버플로우와 같은 대규모 온라인 지식 시장이 사용자 기반 증가에도 불구하고 건강하지 않게 되는 이유를 이해하는 것.
• 경제적 생산함수를 사용하여 커뮤니티 질문-답변(CQA) 플랫폼의 콘텐츠 생성 역학을 모델링하는 것.
• 시스템 규모 증가에 따라 시장 건강 지표가 악화되는지 여부와 그 방식을 규명하는 것.
• 사이트 운영자가 커뮤니티 규모에 따라 조정 가능한 인센티브를 설계할 수 있도록 통찰을 제공하는 것.

제안 방법

• 경제적 생산함수를 사용하여 스택오버플로우에서의 콘텐츠 생성을 생산 과정으로 모델링한다.
• 콘텐츠 출력(질문, 답변, 댓글)을 예측하기 위한 최적의 적합도를 확보하기 위해 다양한 기능 형태(예: 코브-도거러스, 선형, 거듭제곱)를 시험한다.
• 125개의 스택오버플로우 사이트에서 수집한 실증 데이터를 바탕으로 예측 작업을 수행하여 최적의 모델 구조를 규명한다.
• 코브-도거러스 모델을 사용하여 콘텐츠 생산에서의 탄력성, 수익 감소, 규모 수익의 변화를 분석한다.
• 스케일링 실패를 설명하기 위해 참여 패턴(예: 참여도의 파워-법칙 분포 포함)을 분석한다.
• 질문에 대한 수락된 답변 비율, 질문당 답변 수 등과 같은 지표를 사용하여 시장 건강도를 측정한다.

실험 결과

연구 질문

• RQ1 지식 시장의 규모가 그 건강도와 콘텐츠 생성 효율성에 어떤 영향을 미치는가?
• RQ2 대규모 CQA 플랫폼에서 콘텐츠 생성 역학을 가장 잘 설명하는 경제적 생산 모델은 무엇인가?
• RQ3 사용자 참여도나 콘텐츠 의존성과 같은 요소들이 지식 시장에서 일정한 탄력성 또는 수익 감소를 보이는가?
• RQ4 지식 시장이 규모의 경제적 비효율성(크게 커질수록 건강 지표가 떨어지는 현상)을 보이는가?
• RQ5 사용자 참여도 분포(특히 고도로 참여하는 사용자 포함)가 시스템 규모와 함께 어떻게 변화하는가?

주요 결과

• 코브-도거러스 모델은 125개의 스택오버플로우 사이트에서 콘텐츠 생성을 예측하는 데 가장 적합한 결과를 보이며, 사용자 참여도와 콘텐츠 의존성의 일정한 탄력성을 시사한다.
• 많은 스택오버플로우 시장에서 규모의 경제적 비효율성이 나타나며, 질문에 대한 수락된 답변 비율과 같은 핵심 건강 지표가 사용자 수 증가에 따라 감소함을 확인했다.
• 수익 감소 현상이 관찰됨: 활동적인 답변자 수가 증가할수록 답변 생산 증가 폭은 점점 작아진다.
• 사용자 참여도의 파워-법칙 분포는 유지되지만, 시스템 규모 증가에 따라 지수는 감소함으로써, 후기 유저들이 초기 유저들만큼 집중적으로 기여하지 않는다는 점을 시사한다.
• 안정적인 고도로 참여하는 사용자 코어가 존재하지만, 이들의 비율은 총 사용자 수와 비례하지 않아, 시장 건강도에서 수요-공급 격차가 발생한다.
• 모델 분석 결과, 규모 증가가 반드시 건강도 향상으로 이어지는 것은 아니며, 대규모 시장일수록 점차 효율성이 떨어지고 반응성이 떨어질 수 있음을 밝혀냈다.