[論文レビュー] Some Lessons Learned Running Virtual Reality Experiments Out of the Laboratory

Anthony Steed, Daniel Archer+4 more|arXiv (Cornell University)|Apr 12, 2021

Data Visualization and Analytics被引用数 6

ひとこと要約

この論文は、研究室外の環境で消費者向けVRハードウェアとリモート参加者を活用して仮想現実実験を実施した実践的知見を提示する。著者らは、自己完結型で自己説明可能な実験の戦略を詳細に述べ、信頼性の高い同意取得、データ整合性、生態的妥当性を確保することで、実験的制御を維持したままスケーラブルで多様な参加者を募集可能にする。

ABSTRACT

In the past twelve months, our team has had to move rapidly from conducting most of our user experiments in a laboratory setting, to running experiments in the wild away from the laboratory and without direct synchronous oversight from an experimenter. This has challenged us to think about what types of experiment we can run, and to improve our tools and methods to allow us to reliably capture the necessary data. It has also offered us an opportunity to engage with a more diverse population than we would normally engage with in the laboratory. In this position paper we elaborate on the challenges and opportunities, and give some lessons learned from our own experience.

研究の動機と目的

• 直接研究者による監視なしに非研究室環境で信頼性があり妥当なVR実験を実施する課題に対処すること。
• 消費者向けVRハードウェアとリモート配布を活用することで、より広範かつ多様な参加者を募集できるようにすること。
• 監視なしで分散型の実験環境においても、データ整合性と参加者の協力体制を確保すること。
• 実験コードとオープンソース資産を公開することで、再現可能性とオープンネスを促進すること。
• リモート環境における誤解やミスを最小限に抑える、強固で自己文書化可能なプロトコルの開発

提案手法

• Webベースの配布およびSideQuestなどのサードパーティプラットフォームを活用し、消費者向けVRハードウェアを用いた参加者に実験を配信すること。
• 参加者が直接の監視なしに情報提供を受け、誘導を受けられるよう、アプリ内での同意取得とチュートリアルを統合すること。
• ローカルでのデータ保持を防ぎ、データ保護基準に準拠するため、セキュアなサーバーサイドでのデータログを実装すること。
• 反応時間のフィルタリング、回答パターンの検証、バランスの取れたアンケート項目といった、プロトコル準拠のチェックを実施すること。
• 報酬支払いをデータ収集から分離し、匿名性を保ちながら支払いを配布可能にするために、固有のリデムコードを用いること。
• サーバー経由で動的に条件設定を配布し、実験条件間での参加者割り当てをバランスさせる

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、研究者による直接的監視がほとんどない状況下で、リモート環境においても信頼性が高いVR実験を設計できるか？
• RQ2 研究室外で実施される場合、データ品質と参加者協力体制を確保するための技術的・手続的措置は何か？
• RQ3 内部妥当性を維持しつつ、リモートVR研究における生態的妥当性をどのように向上できるか？
• RQ4 実験的制御を損なわずに、スケーラブルな参加者募集戦略をどのように実現できるか？
• RQ5 再現可能性と再利用を支援するため、実験コードとデータをどのようにオープンに共有できるか？

主な発見

• 自己完備型のアプリ内チュートリアルと標準化された操作技術（例：テレポート、掴み操作）により、リモート配布におけるユーザーの混乱が顕著に減少した。
• 反応が異常に速い、または全問に同一の回答を繰り返す参加者をフィルタリングすることで、不注意または協力しない参加者を除外し、データ品質が向上した。
• リアルタイムでサーバーにデータをログするセキュアな仕組みにより、クライアントデバイス上に機微なデータが残らなくなり、データ保護要件を満たした。
• 実験時間の適正さと明確な指示の提示により、参加者が一度に実験を完了する可能性が高まった。
• 報酬支払い用の固有リデムコードの使用により、匿名でのデータ収集が可能でありながら、支払いの配布も確実に実現できた。
• リモート配布により、従来の研究室環境では実現不可能だった、経験豊富なVRユーザーを含む多様な参加者プールへのアクセスが可能になった。