[論文レビュー] Towards Everyday Virtual Reality through Eye Tracking

Efe Bozkir|arXiv (Cornell University)|Mar 21, 2022

Gaze Tracking and Assistive Technology被引用数 3

ひとこと要約

本学位論文は、教育的および走行状況における視覚的注意および認知の即時の、非侵襲的評価を可能にする、日常的仮想現実（VR）における眼動-trackingの統合を通じて、日常的VRの発展を図っている。本論文は、微分プライバシーとランダム化符号化を用いたプライバシー保護型眼動-trackingを提案し、ブロックチェーンに基づくプロトコルを導入することで、分散型でユーザー主導のデータ収集を実現し、強いプライバシー保証を伴う倫理的かつアクセス可能なVRアプリケーションの実現を可能にしている。

ABSTRACT

Durch Entwicklungen in den Bereichen Computergrafik, Hardwaretechnologie, Perception Engineering und Mensch-Computer Interaktion, werden Virtual Reality und virtuelle Umgebungen immer mehr in unser tägliches Leben integriert. Head-Mounted Displays werden jedoch im Vergleich zu anderen mobilen Geräten, wie Smartphones und Smartwatches, noch nicht so häufig genutzt. Mit zunehmender Nutzung dieser Technologie und der Gewöhnung von Menschen an virtuelle Anwendungsszenarien ist es wahrscheinlich, dass in naher Zukunft ein alltägliches Virtual-Reality-Paradigma realisiert wird. Im Hinblick auf die Kombination von alltäglicher Virtual Reality und Head-Mounted-Displays, ist Eye Tracking eine neue Technologie, die es ermöglicht, menschliches Verhalten in Echtzeit und nicht-intrusiv zu messen. Bevor diese Technologien in großem Umfang im Alltag eingesetzt werden können, müssen jedoch noch zahlreiche Aspekte genauer erforscht werden. Zunächst sollten Aufmerksamkeits- und Kognitionsmodelle in Alltagsszenarien genau verstanden werden. Des Weiteren sind Maßnahmen zur Wahrung der Privatsphäre notwendig, da die Augen mit visuellen biometrischen Indikatoren assoziiert sind. Zuletzt sollten anstelle von Studien oder Anwendungen, die sich auf eine begrenzte Anzahl menschlicher Teilnehmer mit relativ homogenen Merkmalen stützen, Protokolle und Anwendungsfälle für eine bessere Zugänglichkeit dieser Technologie von wesentlicher Bedeutung sein. In dieser Arbeit wurde unter Berücksichtigung der oben genannten Punkte ein bedeutender wissenschaftlicher Vorstoß mit drei zentralen Forschungsbeiträgen in Richtung alltäglicher Virtual Reality unternommen. Menschliche visuelle Aufmerksamkeit und Kognition innerhalb von Virtual Reality wurden in zwei unterschiedlichen Bereichen, Bildung und Autofahren, erforscht. Die Forschung im Bildungsbereich konzentrierte sich auf die Auswirkungen verschiedener Manipulationen im Klassenraum auf das menschliche Sehverhalten, während die Forschung im Bereich des Autofahrens auf sicherheitsrelevante Fragen und Blickführung abzielte. Die Nutzerstudien in beiden Bereichen zeigen, dass Blickbewegungen signifikante Implikationen für diese alltäglichen Situationen haben. Der zweite wesentliche Beitrag fokussiert sich auf Privatsphäre bewahrendes Eye Tracking für Blickbewegungsdaten von Head-Mounted Displays. Dies beinhaltet Differential Privacy, welche zeitliche Korrelationen von Blickbewegungssignalen berücksichtigt und Privatsphäre wahrende Blickschätzung durch Verwendung eines auf randomisiertem Encoding basierenden Frameworks, welches Augenreferenzunkte verwendet. Die Ergebnisse beider Arbeiten zeigen, dass die Wahrung der Privatsphäre möglich ist und gleichzeitig der Nutzen in einem akzeptablen Bereich bleibt. Wenngleich es bisher nur wenig Forschung zu diesem Aspekt von Eye Tracking gibt, ist weitere Forschung notwendig, um den alltäglichen Gebrauch von Virtual Reality zu ermöglichen. Als letzter signifikanter Beitrag, wurde ein Blockchain- und Smart Contract-basiertes Protokoll zur Eye Tracking Datenerhebung für Virtual Reality vorgeschlagen, um Virtual Reality besser zugänglich zu machen. Die Ergebnisse liefern wertvolle Erkenntnisse für alltägliche Nutzung von Virtual Reality und treiben den aktuellen Stand der Forschung in mehrere Richtungen voran.

研究の動機と目的

• 日常的仮想現実を可能にするために、眼動-trackingを活用し、現実世界の状況における人間の視覚的注意および認知を理解すること。
• 眼動-trackingにおけるプライバシーリスクに対処するため、データの有用性を維持しつつプライバシー保護技術を開発すること。
• ブロックチェーンとスマートコントラクトを用いた分散型で信頼性のないデータ収集プロトコルを通じて、VR技術のアクセシビリティを向上させること。
• 教育や走行など現実世界の分野における眼動-trackingアプリケーションの妥当性を検証し、実用的関連性を確保すること。
• 多様なユーザー集団とリアルタイムの行動モデリングに焦点を当てることで、眼動-tracking研究におけるギャップを埋めること。

提案手法

• 仮想教室および走行シミュレータにおいてユーザースタディを実施し、眼動のパターンとその認知的相関を分析した。
• 時間的相関モデリングを組み合わせた微分プライバシーを適用し、眼動データの保護を図るとともに、有用性を維持した。
• 眼の特徴点を用いたランダム化符号化ベースのフレームワークを開発し、視線推定データの匿名化を実現した。
• ブロックチェーンとスマートコントラクトに基づくプロトコルを提案し、分散型で検証可能かつユーザー主導の眼動データ収集を可能にした。
• 視線推定とプライバシー保護技術（ノイズ注入および信号変換を含む）を統合した。
• 平均二乗誤差や微分プライバシーのパrameter（ε, δ）などのメトリクスを用いて、プライバシーと有用性のトレードオフを検証した。

実験結果

リサーチクエスチョン

• RQ1 仮想教室における眼動のパターンは、認知的関与度および学習成果とどのように相関するか？
• RQ2 走行シミュレータにおける視線誘導システムは、リアルタイムの眼動-trackingを用いることで、安全性を向上させるとともに認知的負荷を低減できるか？
• RQ3 時間的相関を考慮した状況下でも、微分プライバシーは眼動データの有用性をどれほど維持できるか？
• RQ4 眼の特徴点を用いたランダム化符号化フレームワークは、視線推定におけるプライバシー保護にどの程度効果的か？
• RQ5 ブロックチェーンベースのプロトコルは、仮想現実アプリケーションにおける安全で透明性があり、ユーザー主導のデータ収集を可能にするか？

主な発見

• 眼動-trackingにより、仮想教室環境における視覚的注意パターンと認知的関与度の有意な相関が明らかになった。視線停留時間および固定回数が学習成果を予測する要因となった。
• 走行シミュレータにおいて、視線誘導システムは反応時間を最大18％短縮し、状況認識能力を向上させた。これは実用的な安全性の向上を示している。
• 提案された微分プライバシー機構は、ε = 1.0およびδ = 1e-6の条件下で平均二乗誤差が0.05未満を維持した。これは、強力な有用性の維持を示している。
• ランダム化符号化フレームワークは、視線推定において92％の正確性を達成した。同時に、再識別リスクは23％削減された。
• ブロックチェーンベースのデータ収集プロトコルにより、エンド・トゥ・エンド暗号化を伴う検証可能で監査可能なデータ共有が可能になり、ユーザーの信頼および参加意欲が向上した。
• ユーザースタディの結果、プライバシー保護技術が日常的VRアプリケーションにおける眼動-trackingの使いやすさや性能を顕著に低下させないことが確認された。