[논문 리뷰] Some Lessons Learned Running Virtual Reality Experiments Out of the Laboratory

Anthony Steed, Daniel Archer외 4명|arXiv (Cornell University)|2021. 04. 12.

Data Visualization and Analytics인용 수 6

한 줄 요약

이 논문은 소비자용 VR 하드웨어를 사용하고 원격 참가자 배포를 통해 실험을 실시한 실제 사례에서 도출된 통찰을 제시한다. 저자들은 자가진단형 실험을 가능하게 하는 전략을 상세히 기술하며, 강력한 동의 절차, 데이터 무결성, 생태학적 타당성을 확보하여 실험적 통제를 유지하면서도 확장 가능한 다각도의 참가자 모집을 실현한다.

ABSTRACT

In the past twelve months, our team has had to move rapidly from conducting most of our user experiments in a laboratory setting, to running experiments in the wild away from the laboratory and without direct synchronous oversight from an experimenter. This has challenged us to think about what types of experiment we can run, and to improve our tools and methods to allow us to reliably capture the necessary data. It has also offered us an opportunity to engage with a more diverse population than we would normally engage with in the laboratory. In this position paper we elaborate on the challenges and opportunities, and give some lessons learned from our own experience.

연구 동기 및 목표

• 실험자가 직접 감시하지 않는 비실험실 환경에서 신뢰할 수 있고 타당한 VR 실험을 수행하는 데 도전 과제를 해결하기 위해.
• 소비자용 VR 하드웨어와 원격 배포를 활용하여 더 넓고 다양한 참가자 모집을 가능하게 하기 위해.
• 감시되지 않은 분산된 실험 환경에서 데이터 무결성과 참가자 준수를 확보하기 위해.
• 실험 코드와 오픈소스 자산을 공개하여 재현 가능성과 투명성을 증진하기 위해.
• 원격 환경에서의 오해와 실수를 최소화할 수 있도록 강력하고 자가문서화된 프로토콜을 개발하기 위해.

제안 방법

• 소비자 수준의 VR 하드웨어를 사용하는 참가자에게 도달하기 위해 웹 기반 배포 및 SideQuest와 같은 제3자 플랫폼을 통한 VR 실험 배포.
• 실험자가 직접 지도하지 않더라도 참가자가 정보를 얻고 안내를 받을 수 있도록 앱 내 동의 절차와 튜토리얼 통합.
• 로컬 데이터 보관을 방지하고 데이터 보호 기준을 준수하기 위해 서버 기반 보안 데이터 로깅 구현.
• 반응 시간 필터링, 답변 패턴 검증, 균형 잡힌 설문지 항목과 같은 프로토콜 준수 검사 도입.
• 보상과 데이터 수집을 분리하고 익명성을 유지하기 위해 보상 지급을 위한 고유한 환전 코드 사용.
• 서버를 통해 조건 설정을 동적으로 배포하여 실험 조건 간 참가자 할당을 균형 있게 조절.

실험 결과

연구 질문

• RQ1 실험자가 직접 감시하지 않는 원격 환경에서 VR 실험을 어떻게 설계하여 신뢰성 있게 기능시킬 수 있는가?
• RQ2 실험실 외부에서 수행될 경우 데이터 품질과 참가자 준수를 보장하기 위한 기술적 및 절차적 조치는 무엇인가?
• RQ3 원격 VR 연구에서 내적 타당성을 유지하면서도 생태학적 타당성을 어떻게 향상시킬 수 있는가?
• RQ4 실험적 통제를 훼손하지 않고도 다각도의 참가자 모집을 어떻게 확장할 수 있는가?
• RQ5 실험 코드와 데이터를 어떻게 개방하여 재현 가능성과 재사용을 지원할 수 있는가?

주요 결과

• 자체 구동형 앱 내 튜토리얼과 표준화된 상호작용 기법(예: 텔레포트, 잡기)은 원격 배포 시 사용자 혼란을 크게 감소시켰다.
• 너무 빨리 응답하거나 질문 간 동일한 답변을 반복하는 참가자를 걸러내는 필터링 조치는 비관심 또는 준수하지 않는 참가자를 제거하여 데이터 품질을 향상시켰다.
• 실시간으로 보안 서버에 데이터를 로깅함으로써 클라이언트 기기 내에 민감한 데이터가 남지 않아 데이터 보호 요구사항을 충족시켰다.
• 실험 기간을 합리적으로 유지하고 명확한 지침을 제공할 경우 참가자가 한 번에 실험을 완료할 가능성이 높아졌다.
• 보상 지급을 위한 고유한 환전 코드를 사용함으로써 익명성은 유지하면서도 보상 배포가 가능했다.
• 원격 배포 방식은 기존 실험실 환경에서는 구현이 어려웠던 경험 많은 VR 사용자를 포함한 더 다양한 참가자 풀에 접근할 수 있도록 했다.