[논문 리뷰] How Can Mixed Reality Benefit From Physiologically-Adaptive Systems? Challenges and Opportunities for Human Factors Applications

Francesco Chiossi, Sven Mayer|arXiv (Cornell University)|2023. 03. 31.

Virtual Reality Applications and Impacts인용 수 7

한 줄 요약

이 논문은 뇌전도도(EEG), 스위트 반응도(EDA), fNIRS와 같은 실시간 생리신호를 활용하는 신체적 적응형 시스템이 혼합현실(MR) 경험을 향상시킬 수 있으며, 사용자의 인지 및 정서 상태에 맞게 가상 콘텐츠를 자동으로 조정하는 생체피드백 제어 루프를 가능하게 한다고 제안한다. 이러한 시스템을 MR에 통합함으로써 헬스케어, 교육, 엔터테인먼트 분야의 응용이 참여도, 몰입도, 사용성 측면에서 향상되지만, 동의, 데이터 소유권, 조작 가능성과 관련된 윤리적 및 개인정보 보호 문제는 개인정보 보호 설계 원칙을 통해 해결되어야 한다.

ABSTRACT

Mixed Reality (MR) allows users to interact with digital objects in a physical environment, but several limitations have hampered widespread adoption. Physiologically adaptive systems detecting user's states can drive interaction and address these limitations. Here, we highlight potential usability and interaction limitations in MR and how physiologically adaptive systems can benefit MR experiences and applications. We specifically address potential applications for human factors and operational settings such as healthcare, education, and entertainment. We further discuss benefits and applications in light of ethical and privacy concerns. The use of physiologically adaptive systems in MR has the potential to revolutionize human-computer interactions and provide users with a more personalized and engaging experience.

연구 동기 및 목표

• 광범위한 도입을 저해하는 현재의 혼합현실(MR) 시스템에서의 사용성 및 상호작용 제한 요소를 규명하는 것.
• 실시간 생리신호를 활용하는 생리적 적응형 시스템이 이러한 제한 요소를 어떻게 해결하고 사용자 경험을 향상시킬 수 있는지 조사하는 것.
• 헬스케어, 교육, 엔터테인먼트와 같은 인간요구요소 분야에서 이러한 시스템의 실용적 응용을 탐색하는 것.
• MR 환경에서 음성 생리신호 수집 및 시스템 적응과 관련된 윤리적 및 개인정보 보호 과제를 분석하는 것.
• 생리적 적응형 MR 시스템의 책임감 있는 구현을 위한 개인정보 보호 설계 프레임워크를 제안하는 것.

제안 방법

• 제어 이론에 기반한 생체피드백 제어 루프를 활용하여, 뇌전도도(EEG), 스위트 반응도(EDA), fNIRS와 같은 생리신호를 모니터링하고 이를 바탕으로 실시간으로 시스템을 조정하는 방식.
• 외부 및 중심 생리측정치를 음성 입력으로 활용하여 사용자 상태(예: 스트레스, 집중도, 인지 부하)에 따라 MR 콘텐츠를 동적으로 조정하는 방식.
• 물리적 현실과 가상 현실의 스펙트럼을 유연하게 이동시켜 몰입도, 성능, 참여도를 최적화하는 적응형 MR 경험을 설계하는 것.
• 사용자 개인정보 보호를 최우선으로 고려하여 개인정보 보호 설계 원칙을 적용함으로써 데이터 보호를 초기 단계부터 통합하는 방식.
• 헬스케어(예: 치료), 교육(예: 인지 상태 모니터링), 엔터테인먼트(예: 생체피드백 기반 게임) 분야의 MR 응용에 대해 도메인별 분석을 수행하는 것.
• 사용자 동의, 상태 조정에 대한 사용자 통제권, 데이터 소유권 등의 원칙을 바탕으로 윤리적 영향을 평가하는 것.

Figure 1 . This paper explores the limitations of current Mixed Reality (MR) experiences and how physiologically-adaptive systems can optimize interactions and enhance user experiences in various domains, such as healthcare, education, and entertainment. Physiologically-adaptive systems have the pot

실험 결과

연구 질문

• RQ1 생리적 적응형 시스템은 혼합현실 환경에서 사용자 경험의 사용성과 참여도를 어떻게 향상시킬 수 있는가?
• RQ2 실시간 생리신호 피드백은 헬스케어, 교육, 엔터테인먼트 분야에서 MR 경험을 최적화하는 데 어떻게 활용될 수 있는가?
• RQ3 적응형 MR 시스템에서 음성 생리신호 데이터를 사용함에 있어 주요 윤리적 및 개인정보 보호 과제는 무엇인가?
• RQ4 사용자는 MR 상호작용에서 자신의 생리적 상태 조정에 대해 어떻게 통제권을 유지할 수 있는가?
• RQ5 MR 응용에서 심리생리적 데이터를 책임감 있고 투명하게 사용하기 위한 설계 전략은 무엇인가?

주요 결과

• 생리적 적응형 시스템은 뇌전도도(EEG), 스위트 반응도(EDA), fNIRS 등의 실시간 생리신호 피드백을 기반으로 콘텐츠를 동적으로 조정함으로써 MR에서 사용자 참여도와 몰입도를 크게 향상시킬 수 있다.
• 헬스케어 분야에서는 환자의 실시간 스트레스 또는 인지 부하에 맞게 가상 환경을 자동 조정함으로써 개인 맞춤형 치료를 가능하게 하여 치료 효과를 향상시킨다.
• 교육 분야에서는 분노나 동기 부여와 같은 생리적 상태를 모니터링함으로써 자기조절과 인지 처리를 지원하는 적응형 학습 콘텐츠를 제공할 수 있다.
• 엔터테인먼트 분야에서는 생체피드백 기반 게임이 공포나 흥분과 관련된 생리반응을 유도하고 이를 반응함으로써, 자극이 불쾌하게 느껴질지라도 참여도를 높일 수 있다.
• 윤리적 위험으로는 정서 상태의 잠재적 조작과 데이터 제어의 비대칭성이 있으며, 사용자가 조정된 상태에서 탈출하고 데이터 사용에 동의할 수 있는 능력이 유지되어야 한다.
• 사용자 소유권과 법적 통제권을 확보하기 위해 개인정보 보호 설계 원칙—예를 들어 개인정보 영향 평가 및 개인정보 보호 기반 데이터 수집 기법을 통합하는 것—이 필수적이다.

Figure 2 . In a biocybernetic control loop, the Adaptive System continuously process, and extract informative features from the physiological signals and detect the user state based on an algorithm. Thus, it adjusts its behaviour for device control for diverse applications and provides returns feedb