[论文解读] How Can Mixed Reality Benefit From Physiologically-Adaptive Systems? Challenges and Opportunities for Human Factors Applications

Francesco Chiossi, Sven Mayer|arXiv (Cornell University)|Mar 31, 2023

Virtual Reality Applications and Impacts被引用 7

一句话总结

本文提出，通过使用脑电图（EEG）、皮肤电活动（EDA）和功能性近红外光谱（fNIRS）等实时生理信号，生理自适应系统可增强混合现实（MR）体验，实现生物控制反馈回路，使虚拟内容根据用户的认知和情绪状态动态调整。通过将此类系统整合到MR中，医疗、教育和娱乐等应用可实现更高的参与度、沉浸感和可用性，但必须通过隐私优先设计原则解决关于知情同意、数据所有权和操纵行为的伦理与隐私挑战。

ABSTRACT

Mixed Reality (MR) allows users to interact with digital objects in a physical environment, but several limitations have hampered widespread adoption. Physiologically adaptive systems detecting user's states can drive interaction and address these limitations. Here, we highlight potential usability and interaction limitations in MR and how physiologically adaptive systems can benefit MR experiences and applications. We specifically address potential applications for human factors and operational settings such as healthcare, education, and entertainment. We further discuss benefits and applications in light of ethical and privacy concerns. The use of physiologically adaptive systems in MR has the potential to revolutionize human-computer interactions and provide users with a more personalized and engaging experience.

研究动机与目标

• 识别当前混合现实（MR）系统在可用性和人机交互方面的局限性，这些局限性阻碍了其广泛应用。
• 研究基于实时生理信号的生理自适应系统如何解决这些局限性并提升用户体验。
• 探索这些系统在人因工程领域（如医疗、教育和娱乐）的实际应用。
• 分析在MR环境中收集隐式生理数据并实现系统自适应所涉及的伦理与隐私挑战。
• 提出一种隐私优先设计框架，以实现生理自适应MR系统的负责任实施。

提出的方法

• 基于控制理论构建生物控制反馈回路，实时监测生理信号（如EEG、EDA、fNIRS）并据此触发系统自适应调整。
• 利用外周和中枢生理指标作为隐式输入，根据用户状态（如压力、专注度、认知负荷）动态调整MR内容。
• 设计可在物理现实与虚拟现实之间动态切换的自适应MR体验，以优化沉浸感、表现力和参与度。
• 采用隐私优先设计方法，从系统设计初期即嵌入数据保护机制，包括隐私影响评估和隐私保护型数据采集技术。
• 针对医疗（如治疗应用）、教育（如认知状态监测）和娱乐（如生物反馈游戏）等具体领域，开展MR应用的领域特定分析。
• 通过知情同意原则、用户对状态调整的控制权以及数据所有权等维度，评估伦理影响。

Figure 1 . This paper explores the limitations of current Mixed Reality (MR) experiences and how physiologically-adaptive systems can optimize interactions and enhance user experiences in various domains, such as healthcare, education, and entertainment. Physiologically-adaptive systems have the pot

实验结果

研究问题

• RQ1 生理自适应系统如何提升混合现实环境中的可用性和参与度？
• RQ2 在医疗、教育和娱乐领域，如何利用实时生理反馈优化MR体验？
• RQ3 在自适应MR系统中使用隐式生理数据所涉及的关键伦理与隐私挑战是什么？
• RQ4 用户如何在MR交互中保有对其生理状态自适应的控制权？
• RQ5 哪些设计策略可确保在MR应用中对心理生理数据的负责任且透明的使用？

主要发现

• 通过基于EEG、EDA和fNIRS信号的实时生理反馈，生理自适应系统可显著提升用户在MR中的参与度和沉浸感，实现内容的动态调整。
• 在医疗领域，此类系统可通过根据患者实时压力或认知负荷调整虚拟环境，实现个性化治疗，从而提升治疗效果。
• 在教育领域，通过监测如挫败感或动机等生理状态，可动态调整学习内容，支持自我调节与认知加工。
• 在娱乐领域，生物反馈控制的游戏可通过诱发并响应与恐惧或兴奋相关的生理反应，提升参与度，即使刺激本身被感知为不愉快。
• 伦理风险包括情绪状态被操纵的可能性以及数据控制权的不对称性；用户必须能够退出自适应状态，并明确同意数据使用。
• 采用隐私优先设计方法——包括隐私影响评估和从设计初期即嵌入数据保护机制——对于确保用户对心理生理数据的所有权和法律控制至关重要。

Figure 2 . In a biocybernetic control loop, the Adaptive System continuously process, and extract informative features from the physiological signals and detect the user state based on an algorithm. Thus, it adjusts its behaviour for device control for diverse applications and provides returns feedb