[논문 리뷰] Talking Wikidata: Communication Patterns and Their Impact on Community Engagement in Collaborative Knowledge Graphs

Elisavet Koutsiana, Ioannis Reklos외 4명|arXiv (Cornell University)|2024. 06. 12.

Wikis in Education and Collaboration인용 수 1

한 줄 요약

이 연구는 혼합 방법을 사용하여 위키데이터의 협업 지식 그래프 커뮤니티 내 의사소통 패턴을 조사한다. 이는 네트워크 분석과 그래프/텍스트 임bedding를 포함한다. 연구 결과, 편집자 간 상호작용은 내용과 위상 모두가 대화를 유지하는 강력한 소월 네트워크를 형성하며, 장기적 참여는 편집자 및 토론의 연령에 의해 강하게 영향을 받는다.

ABSTRACT

We study collaboration patterns of Wikidata, one of the world's largest open source collaborative knowledge graph (KG) communities. Collaborative KG communities, play a key role in structuring machine-readable knowledge to support AI systems like conversational agents. However, these communities face challenges related to long-term member engagement, as a small subset of contributors often is responsible for the majority of contributions and decision-making. While prior research has explored contributors' roles and lifespans, discussions within collaborative KG communities remain understudied. To fill this gap, we investigated the behavioural patterns of contributors and factors affecting their communication and participation. We analysed all the discussions on Wikidata using a mixed methods approach, including statistical tests, network analysis, and text and graph embedding representations. Our findings reveal that the interactions between Wikidata editors form a small world network, resilient to dropouts and inclusive, where both the network topology and discussion content influence the continuity of conversations. Furthermore, the account age of Wikidata members and their conversations are significant factors in their long-term engagement with the project. Our observations and recommendations can benefit the Wikidata and semantic web communities, providing guidance on how to improve collaborative environments for sustainability, growth, and quality.

연구 동기 및 목표

• 위키데이터 편집자 간 의사소통의 구조적 및 행동적 패턴을 이해하기 위해.
• 토론이 응답을 받고 참여가 지속되는 데 영향을 주는 요인을 특정하기 위해.
• 편집자 특성과 토론 내용이 협업 지식 그래프 커뮤니티 내 장기적 참여에 어떻게 영향을 주는지 검토하기 위해.
• 참여도 향상과 포함성 향상을 위한 도구와 관행을 제안하여 지속 가능한 커뮤니티 성장을 지원하기 위해.

제안 방법

• 기술통계, 네트워크 분석, 통계적 가설 검정을 결합한 혼합 방법 분석을 적용하여 토론 데이터를 분석한다.
• 편집자를 노드로, 스레드에서의 공동 참여가 간선이 되는 공토론 네트워크를 구축한다.
• 그래프 임베딩을 사용하여 토론 네트워크의 위상적 구조를 모델링하고, 텍스트 임베딩을 사용하여 토론 내용을 표현한다.
• 그래프 및 텍스트 임베딩 특징을 편집자 특성(예: 계정 연령 등)과 결합하여 기계학습 모델을 구축하고, 응답 가능성과 참여도를 예측한다.
• 소월 성질을 평가하기 위해 클러스터링 계수와 최단 경로 메트릭을 사용한다.
• 질적 통찰과 편집자 접근 수준 및 기여 패턴과의 교차 검증을 통해 연구 결과를 검증한다.

실험 결과

연구 질문

• RQ1 RQ1: 위키데이터 토론에서 편집자의 협업 특성은 무엇인가?
• RQ2 RQ2: 토론이 응답을 받을 수 있는 요인은 무엇인가?
• RQ3 RQ3: 토론이 장기적으로 편집자의 참여에 영향을 미치는가?
• RQ4 RQ4: 네트워크 위상과 토론 내용이 함께 대화의 지속성에 어떻게 영향을 주는가?
• RQ5 RQ5: 편집자 계정 연령은 지속적 참여에 어떤 역할을 하는가?

주요 결과

• 위키데이터 토론 네트워크는 소월 성질을 보이며, 높은 클러스터링 계수와 낮은 평균 최단 경로를 보여, 강력한 연결성과 탈퇴에 대한 저항성을 나타낸다.
• 토론 내용과 네트워크 위상은 대화 지속성에 공동으로 영향을 주며, 위상적 구조가 참여 유지에 중요한 역할을 한다.
• 편집자 계정 연령과 토론의 연령은 장기적 참여의 중요한 예측 변수이며, 오래된 기여자와 오래 지속되는 스레드는 더 높은 지속성을 보인다.
• 플랫폼과 구조적 차이가 있음에도 불구하고, 위키데이터의 네트워크는 위키피디아보다 더 높은 밀도를 보이며, 인기 있는 편집자들이 덜 유명한 편집자들과 활발히 소통함으로써 더 포용적인 의사소통 패턴을 보인다.
• 편집자 접근 수준(예: 관리자, 봇 등)은 의사소통이나 참여에 유의미한 영향을 주지 않아, 기여 품질과 참여가 공식적인 역할에만 국한되지 않음을 시사한다.
• 이 연구는 위키데이터 토론 게시물의 공개 데이터셋을 제작하였으며, 참여도 분석을 위한 프레임워크를 제안하였으며, 신규 참여자 유지를 향상시키기 위한 멘토링 시스템, 게시물 모니터링 도구, 의사소통 템플릿 제안을 포함한다.