[論文レビュー] Attendee-Sourcing: Exploring The Design Space of Community-Informed Conference Scheduling

Anant Bhardwaj, Juho Kim+5 more|arXiv (Cornell University)|Sep 23, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 16被引用数 14

ひとこと要約

本論文は、研究者とは異なる参加者からの好みを収集する『参加者ソーシング』という新しい手法を導入し、会議スケジューリングの改善を図るものである。この手法は、論文推薦ツール『Confer』を介して参加者から好みのデータを収集するもので、従来の著者ソーシングおよび委員会ソーシングのアプローチを補完する。CHI 2014において、参加者ソーシングにより347名の参加者から合計7,228件の好みが得られ、著者ソーシングの3,869件を上回るデータポイントを提供した。これにより、著者からのフィードバックだけでは捉えきれない追加のペーパー間の類縁関係が明らかになり、セッションの整合性と衝突の低減が著しく向上した。

ABSTRACT

Constructing a good conference schedule for a large multi-track conference needs to take into account the preferences and constraints of organizers, authors, and attendees. Creating a schedule which has fewer conflicts for authors and attendees, and thematically coherent sessions is a challenging task. Cobi introduced an alternative approach to conference scheduling by engaging the community to play an active role in the planning process. The current Cobi pipeline consists of committee-sourcing and author-sourcing to plan a conference schedule. We further explore the design space of community-sourcing by introducing attendee-sourcing -- a process that collects input from conference attendees and encodes them as preferences and constraints for creating sessions and schedule. For CHI 2014, a large multi-track conference in human-computer interaction with more than 3,000 attendees and 1,000 authors, we collected attendees' preferences by making available all the accepted papers at the conference on a paper recommendation tool we built called Confer, for a period of 45 days before announcing the conference program (sessions and schedule). We compare the preferences marked on Confer with the preferences collected from Cobi's author-sourcing approach. We show that attendee-sourcing can provide insights beyond what can be discovered by author-sourcing. For CHI 2014, the results show value in the method and attendees' participation. It produces data that provides more alternatives in scheduling and complements data collected from other methods for creating coherent sessions and reducing conflicts.

研究の動機と目的

• 著者および委員会ソーシングに加えて、参加者ソーシングを補完的アプローチとして導入することで、コミュニティインフォームドな会議スケジューリングのデザインスペースを探索すること。
• 参加者からのフィードバックが、著者ソーシングのみでは捉えきれない追加のペーパー類縁関係やスケジューリングのインサイトを明らかにできるかを調査すること。
• スケーラブルでアクセス可能なインターフェースを通じて、非著者コミュニティメンバーを会議スケジューリングに参加させることの実現可能性と価値を評価すること。
• 参加者と著者の役割、インcentive、インターフェース設計の違いにより、参加者ソーシングが著者ソーシングとは別個で、補完的かつ特徴的なデータを生み出すことの妥当性を示すこと。
• 複数のソースからのコミュニティ入力を統合することで、将来的な自動スケジューリングツールの改善、特にセッションの整合性と衝突解消の向上を図ること。

提案手法

• CHI 2014で採択された1,000件以上の論文を、会議プログラム公開の45日前に参加者に全表示する論文推薦ツール『Confer』を開発した。
• 参加者が自由に任意の数の論文を「興味あり」とか「関連性あり」とマークできるようにし、制約のない好みデータを収集した。
• Conferを介して参加者の好みを収集し、著者ソーシングデータ（Cobiが使用した20件の類似論文に関する関連性および関心フィードバック）と比較した。
• 参加者および著者からのフィードバックから導かれたペーパー間のペアワイズ類縁関係を分析し、重複度と補完性を評価した。
• 両方のデータを統合し、スケジューリングにおけるセッションの整合性および衝突低減の潜在的改善を評価した。
• 将来的なパイプラインとして、自動スケジューリングツールが参加者ソーシングおよび著者ソーシングの両方のデータを最適化フレームワーク内の制約および好みとして統合する方法を提案した。

実験結果

リサーチクエスチョン

• RQ1 大規模な学術会議において、参加者ソーシングは著者ソーシングでは捉えきれないペーパー類縁関係を明らかにできるか？
• RQ2 参加者の好みは、著者との間に性質および量の面でどのように異なるのか。また、これらの違いはスケジューリングにどのような意味を持つのか？
• RQ3 参加者ソーシングは、会議スケジューリングにおけるセッションの整合性および衝突低減にどの程度貢献するのか？
• RQ4 役割に特化したインcentiveおよびインターフェース設計は、コミュニティソーシングによるスケジューリングデータの質および多様性にどのように影響するのか？
• RQ5 参加者ソーシングのデータは、著者ソーシングのデータと効果的に統合可能であり、自動またはインタラクティブなスケジューリングツールの改善に寄与できるか？

主な発見

• 参加者ソーシングにより、347名の参加者から合計7,228件の好みが得られ、同じ期間に634名の著者から得られた3,869件の好みを上回った。
• 著者ソーシングでは捉えきれていない、多数のペーパー間のペアワイズ類縁関係が参加者ソーシングによって検出された。これは、非著者参加者から得られる独自のインサイトを示している。
• 参加率が低めであったにもかかわらず、参加者が著者よりも多くのデータポイントを提供した。これは、参加者ソーシングのスケーラビリティとデータの豊かさを示している。
• 参加者ソーシングのデータは、著者フィードバックだけでは明らかでないテーマ的つながりや関心パターンを明らかにした。これにより、セッションの整合性の向上が可能になった。
• 参加者ソーシングは、論文の近接性に縛られにくく、多様で幅広い発見可能性を持つ好みを生み出した。これは、著者ソーシングに比べて、より広範な発見の可能性を示している。
• 本研究は、参加者ソーシングが著者ソーシングおよび委員会ソーシングと組み合わせることで、補完的かつ高価値なデータを提供し、スケジューリングの質を向上させることを確認した。