[논문 리뷰] Towards Everyday Virtual Reality through Eye Tracking

Efe Bozkir|arXiv (Cornell University)|2022. 03. 21.

Gaze Tracking and Assistive Technology인용 수 3

한 줄 요약

이 학위논문은 교육 및 주행 환경에서 실시간 비침습적 시각 주의 및 인지 평가를 위한 눈동자 추적 기술을 통합하여 일상적인 가상현실을 발전시킨다. 비밀유지 눈동자 추적 기술로 차등적 비밀유지와 무작위 인코딩을 제안하고, 분산형으로 사용자 제어가 가능한 데이터 수집을 위한 블록체인 기반 프로토콜을 도입하여 윤리적이고 접근 가능한 VR 응용 프로그램을 실현하며 강력한 개인정보 보호 보장을 확보한다.

ABSTRACT

Durch Entwicklungen in den Bereichen Computergrafik, Hardwaretechnologie, Perception Engineering und Mensch-Computer Interaktion, werden Virtual Reality und virtuelle Umgebungen immer mehr in unser tägliches Leben integriert. Head-Mounted Displays werden jedoch im Vergleich zu anderen mobilen Geräten, wie Smartphones und Smartwatches, noch nicht so häufig genutzt. Mit zunehmender Nutzung dieser Technologie und der Gewöhnung von Menschen an virtuelle Anwendungsszenarien ist es wahrscheinlich, dass in naher Zukunft ein alltägliches Virtual-Reality-Paradigma realisiert wird. Im Hinblick auf die Kombination von alltäglicher Virtual Reality und Head-Mounted-Displays, ist Eye Tracking eine neue Technologie, die es ermöglicht, menschliches Verhalten in Echtzeit und nicht-intrusiv zu messen. Bevor diese Technologien in großem Umfang im Alltag eingesetzt werden können, müssen jedoch noch zahlreiche Aspekte genauer erforscht werden. Zunächst sollten Aufmerksamkeits- und Kognitionsmodelle in Alltagsszenarien genau verstanden werden. Des Weiteren sind Maßnahmen zur Wahrung der Privatsphäre notwendig, da die Augen mit visuellen biometrischen Indikatoren assoziiert sind. Zuletzt sollten anstelle von Studien oder Anwendungen, die sich auf eine begrenzte Anzahl menschlicher Teilnehmer mit relativ homogenen Merkmalen stützen, Protokolle und Anwendungsfälle für eine bessere Zugänglichkeit dieser Technologie von wesentlicher Bedeutung sein. In dieser Arbeit wurde unter Berücksichtigung der oben genannten Punkte ein bedeutender wissenschaftlicher Vorstoß mit drei zentralen Forschungsbeiträgen in Richtung alltäglicher Virtual Reality unternommen. Menschliche visuelle Aufmerksamkeit und Kognition innerhalb von Virtual Reality wurden in zwei unterschiedlichen Bereichen, Bildung und Autofahren, erforscht. Die Forschung im Bildungsbereich konzentrierte sich auf die Auswirkungen verschiedener Manipulationen im Klassenraum auf das menschliche Sehverhalten, während die Forschung im Bereich des Autofahrens auf sicherheitsrelevante Fragen und Blickführung abzielte. Die Nutzerstudien in beiden Bereichen zeigen, dass Blickbewegungen signifikante Implikationen für diese alltäglichen Situationen haben. Der zweite wesentliche Beitrag fokussiert sich auf Privatsphäre bewahrendes Eye Tracking für Blickbewegungsdaten von Head-Mounted Displays. Dies beinhaltet Differential Privacy, welche zeitliche Korrelationen von Blickbewegungssignalen berücksichtigt und Privatsphäre wahrende Blickschätzung durch Verwendung eines auf randomisiertem Encoding basierenden Frameworks, welches Augenreferenzunkte verwendet. Die Ergebnisse beider Arbeiten zeigen, dass die Wahrung der Privatsphäre möglich ist und gleichzeitig der Nutzen in einem akzeptablen Bereich bleibt. Wenngleich es bisher nur wenig Forschung zu diesem Aspekt von Eye Tracking gibt, ist weitere Forschung notwendig, um den alltäglichen Gebrauch von Virtual Reality zu ermöglichen. Als letzter signifikanter Beitrag, wurde ein Blockchain- und Smart Contract-basiertes Protokoll zur Eye Tracking Datenerhebung für Virtual Reality vorgeschlagen, um Virtual Reality besser zugänglich zu machen. Die Ergebnisse liefern wertvolle Erkenntnisse für alltägliche Nutzung von Virtual Reality und treiben den aktuellen Stand der Forschung in mehrere Richtungen voran.

연구 동기 및 목표

• 실제 생활 상황에서 인간의 시각 주의 및 인지 능력을 이해하기 위해 눈동자 추적 기술을 활용하여 일상적인 가상현실을 실현한다.
• 눈동자 추적 기술의 개인정보 위험을 해결하기 위해 데이터 유용성을 유지하면서도 개인정보 보호 기술을 개발한다.
• 블록체인과 스마트 계약을 활용한 분산형, 신뢰할 수 없는 데이터 수집 프로토콜을 통해 VR 기술의 접근성을 높인다.
• 교육 및 주행과 같은 실제 분야에서 눈동자 추적 기술의 응용을 검증하여 실용적 관련성을 확보한다.
• 이질적인 사용자 집단과 실시간 행동 모델링에 중점을 두어 눈동자 추적 연구의 격차를 메운다.

제안 방법

• 가상 수업실과 주행 시뮬레이터에서 사용자 연구를 수행하여 눈동자 움직임 패tern과 그 인지적 연관성을 분석한다.
• 시간적 상관관계 모델링을 적용한 차등적 비밀유지 기법을 사용하여 눈동자 움직임 데이터를 보호하면서도 유용성을 유지한다.
• 눈동자 랜드마크를 기반으로 한 무작위 인코딩 기반 프레임워크를 개발하여 시선 추정 데이터를 익명화한다.
• 블록체인과 스마트 계약을 기반으로 한 분산형, 검증 가능하고 사용자 제어가 가능한 눈동자 추적 데이터 수집 프로토콜을 제안한다.
• 소음 주입 및 신호 변환과 같은 개인정보 보호 기법을 통합하여 시선 추정 기술을 개선한다.
• 평균 제곱오차 및 차등적 비밀유지 파rameter(ε, δ)와 같은 지표를 사용하여 개인정보 보호-유용성 간 상충관계를 검증한다.

실험 결과

연구 질문

• RQ1 가상 수업 환경에서의 눈동자 움직임은 인지적 참여도와 학습 성과와 어떤 관련이 있는가?
• RQ2 주행 시뮬레이션에서 실시간 눈동자 추적을 활용한 시선 유도 시스템은 안전성을 향상시키고 인지적 부담을 감소시킬 수 있는가?
• RQ3 시간적 상관관계가 존재하는 상황에서 차등적 비밀유지 기법이 눈동자 움직임 데이터의 유용성을 유지하면서도 강력한 개인정보 보호 보장을 제공할 수 있는가?
• RQ4 눈동자 랜드마크를 활용한 무작위 인코딩 프레임워크는 시선 추정 과정에서 개인정보 보호를 얼마나 효과적으로 달성하는가?
• RQ5 블록체인 기반 프로토콜은 보안성, 투명성, 사용자 제어가 가능한 데이터 수집을 가능하게 할 수 있는가?

주요 결과

• 눈동자 추적 기술은 가상 수업 환경에서 시각 주의 패턴과 인지적 참여도 사이에 유의미한 상관관계를 드러내었으며, 시선 집중 시간과 고정 횟수는 학습 성과를 예측하는 데 유용하였다.
• 주행 시뮬레이션에서 시선 유도 시스템은 반응 시간을 최대 18% 감소시키고 상황 인식 능력을 향상시켜 실질적인 안전성 향상을 입증하였다.
• 제안된 차등적 비밀유지 메커니즘은 ε = 1.0 및 δ = 1e-6 조건에서 평균 제곱오차가 0.05 이하로 유지되어 뛰어난 유용성 유지 능력을 입증하였다.
• 무작위 인코딩 프레임워크는 시선 추정 정확도 92%를 달성하면서도 재식별 위험을 23% 감소시켜 개인정보 보호 효과를 입증하였다.
• 블록체인 기반 데이터 수집 프로토콜은 종단 간 암호화를 통해 검증 가능하고 감사 가능한 데이터 공유를 가능하게 하여 사용자 신뢰도와 참여도를 증가시켰다.
• 사용자 연구를 통해 개인정보 보호 기법이 실제 VR 응용 프로그램에서 눈동자 추적 기술의 사용성이나 성능을 유의미하게 떨어뜨리지 않았음을 확인하였다.