[논문 리뷰] Attendee-Sourcing: Exploring The Design Space of Community-Informed Conference Scheduling

Anant Bhardwaj, Juho Kim외 5명|arXiv (Cornell University)|2014. 09. 23.

Mobile Crowdsensing and Crowdsourcing참고 문헌 16인용 수 14

한 줄 요약

이 논문은 기존의 저자-소스 및 위원회-소스 접근 방식과 보완적으로, 참가자들이 종이 추천 도구(Confer)를 통해 선호도를 수집하는 참가자-소스 방법을 새로운 방법으로 도입하여 컨fer런스 일정 편성 향상에 기여한다. CHI 2014에서 참가자-소스는 347명의 참가자로부터 7,228개의 선호도를 수집하였으며, 이는 저자-소스보다 더 많은 데이터 포인트를 제공하여, 저자 피드백만으로는 드러나지 않는 추가적인 종이 간 상관관계를 밝혀내고, 세션의 일관성 향상과 충돌 감소에 기여한다.

ABSTRACT

Constructing a good conference schedule for a large multi-track conference needs to take into account the preferences and constraints of organizers, authors, and attendees. Creating a schedule which has fewer conflicts for authors and attendees, and thematically coherent sessions is a challenging task. Cobi introduced an alternative approach to conference scheduling by engaging the community to play an active role in the planning process. The current Cobi pipeline consists of committee-sourcing and author-sourcing to plan a conference schedule. We further explore the design space of community-sourcing by introducing attendee-sourcing -- a process that collects input from conference attendees and encodes them as preferences and constraints for creating sessions and schedule. For CHI 2014, a large multi-track conference in human-computer interaction with more than 3,000 attendees and 1,000 authors, we collected attendees' preferences by making available all the accepted papers at the conference on a paper recommendation tool we built called Confer, for a period of 45 days before announcing the conference program (sessions and schedule). We compare the preferences marked on Confer with the preferences collected from Cobi's author-sourcing approach. We show that attendee-sourcing can provide insights beyond what can be discovered by author-sourcing. For CHI 2014, the results show value in the method and attendees' participation. It produces data that provides more alternatives in scheduling and complements data collected from other methods for creating coherent sessions and reducing conflicts.

연구 동기 및 목표

• 기존의 저자-소스 및 위원회-소스 접근 방식과 보완적으로 참가자-소스를 도입하여 공동체 기반의 컨퍼런스 일정 편성 설계 공간을 탐색하고자 한다.
• 참가자 피드백이 저자-소스만으로는 포착되지 않는 추가적인 종이 간 상관관계와 일정 편성 통찰을 드러내는지 조사하고자 한다.
• 스케일링 가능하고 접근성이 높은 인터페이스를 통해 비저자 공동체 구성원들을 컨퍼런스 일정 편성에 참여시키는 것의 실현 가능성과 가치를 평가하고자 한다.
• 역할, 동기, 인터페이스 설계의 차이로 인해 참가자-소스가 저자-소스와는 다를 수 있는 고유한 데이터를 생성함을 입증하고자 한다.
• 다양한 출처의 공동체 입력을 통합하여 향상된 세션 일관성과 충돌 해결을 위한 자동화된 일정 편성 도구의 향후 개선 방향을 제시하고자 한다.

제안 방법

• CHI 2014에 수락된 1,000개 이상의 종이를 프로그램 출시 45일 전에 참가자들이 모두 볼 수 있도록 노출한 종이 추천 도구인 Confer를 개발하였다.
• 참가자들이 자신의 관심사와 관련이 있다고 생각하는 종이를 자유롭게 '흥미진영' 또는 '유사'로 표시할 수 있도록 하여, 제한 없는 선호도 데이터를 수집하였다.
• Confer를 통해 수집한 참가자 선호도를 Cobi에서 수집한 저자-소스 데이터와 비교하였으며, Cobi는 20개의 유사 종이에 대해 저자의 관련성 및 관심도 피드백을 사용하였다.
• 참가자 및 저자 피드백에서 유도된 종이 간 쌍별 상관관계를 분석하여 겹침과 보완성을 평가하였다.
• 통합된 데이터를 활용하여 일정 편성에서 세션 일관성 향상과 충돌 감소 잠재력을 평가하였다.
• 향후 자동화된 일정 편성 도구가 참가자-소스 및 저자-소스 데이터를 최적화 프레임워크 내의 제약 조건과 선호도로 통합하여 사용할 수 있는 파이프라인을 제안하였다.

실험 결과

연구 질문

• RQ1 대규모 학술 컨퍼런스에서 참가자-소스가 저자-소스로는 포착되지 않는 종이 간 상관관계를 드러낼 수 있는가?
• RQ2 참가자와 저자의 선호도는 성격과 양 면에서 어떻게 다를까? 이러한 차이는 일정 편성에 어떤 영향을 미치는가?
• RQ3 참가자-소스가 컨퍼런스 일정 편성에서 세션 일관성 향상과 충돌 감소에 어느 정도 기여하는가?
• RQ4 역할 기반의 동기와 인터페이스 설계가 공동체 기반 일정 데이터의 품질과 다양성에 어떻게 영향을 미치는가?
• RQ5 참가자-소스 데이터는 저자-소스 데이터와 효과적으로 통합되어 자동화 또는 상호작용형 일정 편성 도구의 향상에 기여할 수 있는가?

주요 결과

• 참가자-소스는 347명의 참가자로부터 총 7,228개의 선호도를 생성하였으며, 이는 동일 기간에 634명의 저자로부터 수집된 3,869개의 선호도를 초과하였다.
• 저자-소스로는 포착되지 않은 상당수의 종이 간 쌍별 상관관계가 참가자-소스를 통해 탐지되었으며, 이는 비저자 참가자들이 제공하는 고유한 통찰을 시사한다.
• 참가자 참여율이 낮음에도 불구하고, 참가자들이 저자들보다 더 많은 데이터 포인트를 기여함으로써 참가자-소스의 확장성과 데이터 풍부성을 입증하였다.
• 참가자-소스 데이터는 저자 피드백만으로는 드러나지 않는 주제적 연결성과 관심 패턴을 드러내어 세션 일관성 잠재력을 향상시켰다.
• 참가자-소스는 종이 간 근접성에 제한되지 않은 더 다양하고 넓은 범위의 선호도를 생성하여, 저자-소스 대비 더 넓은 발견 가능성을 보였다.
• 본 연구는 참가자-소스가 저자-소스 및 위원회-소스와 함께 통합될 경우, 일정 품질 향상에 기여하는 보완적이고 고가치의 데이터를 제공함을 확인하였다.