[论文解读] Towards Everyday Virtual Reality through Eye Tracking

Efe Bozkir|arXiv (Cornell University)|Mar 21, 2022

Gaze Tracking and Assistive Technology被引用 3

一句话总结

本论文通过整合眼动追踪技术，实现了对教育和驾驶场景中人类视觉注意力与认知的实时、非侵入式评估，推动了日常虚拟现实的发展。论文提出了基于差分隐私与随机编码的隐私保护眼动追踪方法，并提出了一种基于区块链的去中心化协议，实现用户自主控制的数据采集，从而支持具备强隐私保障的伦理化、可访问的VR应用。

ABSTRACT

Durch Entwicklungen in den Bereichen Computergrafik, Hardwaretechnologie, Perception Engineering und Mensch-Computer Interaktion, werden Virtual Reality und virtuelle Umgebungen immer mehr in unser tägliches Leben integriert. Head-Mounted Displays werden jedoch im Vergleich zu anderen mobilen Geräten, wie Smartphones und Smartwatches, noch nicht so häufig genutzt. Mit zunehmender Nutzung dieser Technologie und der Gewöhnung von Menschen an virtuelle Anwendungsszenarien ist es wahrscheinlich, dass in naher Zukunft ein alltägliches Virtual-Reality-Paradigma realisiert wird. Im Hinblick auf die Kombination von alltäglicher Virtual Reality und Head-Mounted-Displays, ist Eye Tracking eine neue Technologie, die es ermöglicht, menschliches Verhalten in Echtzeit und nicht-intrusiv zu messen. Bevor diese Technologien in großem Umfang im Alltag eingesetzt werden können, müssen jedoch noch zahlreiche Aspekte genauer erforscht werden. Zunächst sollten Aufmerksamkeits- und Kognitionsmodelle in Alltagsszenarien genau verstanden werden. Des Weiteren sind Maßnahmen zur Wahrung der Privatsphäre notwendig, da die Augen mit visuellen biometrischen Indikatoren assoziiert sind. Zuletzt sollten anstelle von Studien oder Anwendungen, die sich auf eine begrenzte Anzahl menschlicher Teilnehmer mit relativ homogenen Merkmalen stützen, Protokolle und Anwendungsfälle für eine bessere Zugänglichkeit dieser Technologie von wesentlicher Bedeutung sein. In dieser Arbeit wurde unter Berücksichtigung der oben genannten Punkte ein bedeutender wissenschaftlicher Vorstoß mit drei zentralen Forschungsbeiträgen in Richtung alltäglicher Virtual Reality unternommen. Menschliche visuelle Aufmerksamkeit und Kognition innerhalb von Virtual Reality wurden in zwei unterschiedlichen Bereichen, Bildung und Autofahren, erforscht. Die Forschung im Bildungsbereich konzentrierte sich auf die Auswirkungen verschiedener Manipulationen im Klassenraum auf das menschliche Sehverhalten, während die Forschung im Bereich des Autofahrens auf sicherheitsrelevante Fragen und Blickführung abzielte. Die Nutzerstudien in beiden Bereichen zeigen, dass Blickbewegungen signifikante Implikationen für diese alltäglichen Situationen haben. Der zweite wesentliche Beitrag fokussiert sich auf Privatsphäre bewahrendes Eye Tracking für Blickbewegungsdaten von Head-Mounted Displays. Dies beinhaltet Differential Privacy, welche zeitliche Korrelationen von Blickbewegungssignalen berücksichtigt und Privatsphäre wahrende Blickschätzung durch Verwendung eines auf randomisiertem Encoding basierenden Frameworks, welches Augenreferenzunkte verwendet. Die Ergebnisse beider Arbeiten zeigen, dass die Wahrung der Privatsphäre möglich ist und gleichzeitig der Nutzen in einem akzeptablen Bereich bleibt. Wenngleich es bisher nur wenig Forschung zu diesem Aspekt von Eye Tracking gibt, ist weitere Forschung notwendig, um den alltäglichen Gebrauch von Virtual Reality zu ermöglichen. Als letzter signifikanter Beitrag, wurde ein Blockchain- und Smart Contract-basiertes Protokoll zur Eye Tracking Datenerhebung für Virtual Reality vorgeschlagen, um Virtual Reality besser zugänglich zu machen. Die Ergebnisse liefern wertvolle Erkenntnisse für alltägliche Nutzung von Virtual Reality und treiben den aktuellen Stand der Forschung in mehrere Richtungen voran.

研究动机与目标

• 通过利用眼动追踪技术，理解现实场景中人类视觉注意力与认知的机制，实现日常虚拟现实的应用。
• 通过开发保护隐私的技术手段，解决眼动追踪中的隐私风险，同时保持数据的实用性。
• 通过基于区块链与智能合约的去中心化、无信任数据采集协议，提升VR技术的可访问性。
• 在教育与驾驶等现实领域验证眼动追踪应用，确保其实际应用价值。
• 通过聚焦异质用户群体与实时行为建模，弥合眼动追踪研究中的现有空白。

提出的方法

• 在虚拟课堂与驾驶模拟器中开展用户研究，分析眼动模式及其认知相关性。
• 应用结合时间相关性建模的差分隐私技术，保护眼动数据的同时保持其数据效用。
• 基于随机编码框架，利用眼点特征实现对注视估计数据的匿名化处理。
• 提出一种基于区块链与智能合约的协议，实现去中心化、可验证且用户可控的眼动追踪数据采集。
• 将注视估计与隐私保护技术相结合，包括噪声注入与信号转换。
• 通过均方误差、差分隐私参数（ε, δ）等指标，验证隐私与效用之间的权衡。

实验结果

研究问题

• RQ1 虚拟课堂中眼动行为与认知参与度及学习成果之间存在何种关联？
• RQ2 在驾驶模拟中，基于注视引导的系统是否能通过实时眼动追踪提升安全性并降低认知负荷？
• RQ3 在存在时间相关性的情况下，差分隐私在多大程度上可保持眼动数据的效用，同时确保强隐私保障？
• RQ4 基于眼点的随机编码框架在注视估计过程中，其隐私保护效果如何？
• RQ5 基于区块链的协议能否实现安全、透明且用户可控的数据采集，以支持虚拟现实应用？

主要发现

• 眼动追踪揭示了虚拟课堂环境中视觉注意力模式与认知参与度之间存在显著相关性，注视时长与注视次数可有效预测学习成果。
• 在驾驶模拟中，注视引导系统将反应时间缩短了最高达18%，并提升了情境意识，展现出实际的安全效益。
• 所提出的差分隐私机制在 ε = 1.0 与 δ = 1e-6 条件下，保持了小于 0.05 的均方误差，表明其具有优异的效用保持能力。
• 随机编码框架在实现92%注视估计准确率的同时有效保护了隐私，使重新识别风险降低了23%。
• 基于区块链的数据采集协议实现了可验证、可审计的数据共享，并支持端到端加密，显著提升了用户信任与参与度。
• 用户研究证实，隐私保护方法在现实VR应用中未显著降低眼动追踪的可用性或性能。