[論文レビュー] Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry

Jiazhang Wang, Tianfu Wang+3 more|arXiv (Cornell University)|Aug 14, 2023

Gaze Tracking and Assistive Technology被引用数 6

ひとこと要約

本論文では、角膜および総膜の高密度な3次元表面再構成を可能にする、新規のワンショット歪み計測法を提案する。位相測定歪み計測（PMD）を活用することで、1フレームあたり40,000点以上の表面点を取得でき、最先端のグリント追跡法と比較して3,300倍以上も多点を取得する。これにより、視線推定誤差が≤0.25°に抑えられ、精度と耐障害性が著しく向上する。

ABSTRACT

Eye-tracking plays a crucial role in the development of virtual reality devices, neuroscience research, and psychology. Despite its significance in numerous applications, achieving an accurate, robust, and fast eye-tracking solution remains a considerable challenge for current state-of-the-art methods. While existing reflection-based techniques (e.g., "glint tracking") are considered to be very accurate, their performance is limited by their reliance on sparse 3D surface data acquired solely from the cornea surface. In this paper, we rethink the way how specular reflections can be used for eye tracking: We propose a novel method for accurate and fast evaluation of the gaze direction that exploits teachings from single-shot phase-measuring-deflectometry(PMD). In contrast to state-of-the-art reflection-based methods, our method acquires dense 3D surface information of both cornea and sclera within only one single camera frame (single-shot). For a typical measurement, we acquire $>3000 imes$ more surface reflection points ("glints") than conventional methods. We show the feasibility of our approach with experimentally evaluated gaze errors on a realistic model eye below only $0.12^\circ$. Moreover, we demonstrate quantitative measurements on real human eyes in vivo, reaching accuracy values between only $0.46^\circ$ and $0.97^\circ$.

研究の動機と目的

• 現在の反射ベースの視線追跡法が10～15個のわずかな表面点に依存していることによる精度の低さと点の疎らさを克服すること。
• ワンカメラフレームで角膜および総膜の高密度な3次元表面データを取得することで、高精度でリアルタイムな視線追跡を実現すること。
• 角膜の屈折による誤差を引き起こしやすい、瞳孔中心や虹彩テクスチャなどの2次元画像特徴に依存するのを減らすこと。
• 総膜上の血管やリムバス領域などの表面の不規則性に対しても耐性を持つ方法を開発すること。
• 将来的な応用、例えば眼鏡を装着しないVR/ARにおけるリアルタイム視覚補正を、3次元表面データを副産物として活用できること。

提案手法

• 標準モニタに表示された正弦波パターンを用いて、ワンショット位相測定歪み計測（PMD）を実行し、眼を照射する。
• 高解像度カメラで眼の鏡面反射パターンを捉え、角膜および総膜の高密度な3次元再構成を実現する。
• 最小二乗最適化を用いて、光学軸と交差しない非球面領域（例：血管、リムバス）からの外れ値法線を除外する。
• 再構成された表面法線を逆方向に追跡し、交差点を特定することで視線方向を推定する。この交差点が眼の光学中心に対応する。
• 最小限の幾何的仮定に依存する。角膜および総膜の回転対称性のみを仮定し、完全な球面性は必要としない。
• 市販部品（ディスプレイおよびカメラ）を用いたキャリブレーション済みPMD装置により、表面再構成においてマイクロメートル未満の精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 ワンショット歪み計測からの高密度な3次元表面再構成は、現在のグリントベースの方法をはるかに超える視線追跡精度を実現できるか？
• RQ2 本手法は、総膜およびリムバス領域を含む複雑で非均一な眼表面に対しても、性能劣化を伴わず処理できるか？
• RQ3 1枚のカメラフレームのみを用いて、瞳孔中心などの2次元画像特徴に依存せず、0.25°未満の視線誤差を達成できるか？
• RQ4 データポイントの密度および計算効率の観点から、本手法は最先端のシステムと比較してどの程度優れているか？
• RQ5 3次元表面再構成は、VR/ARにおけるリアルタイム視覚補正といった追加的応用に活用できるか？

主な発見

• 実環境評価において、平均相対視線誤差が≤0.25°に抑えられ、現在の最先端技術（通常0.5°～1°）を著しく上回る。
• 本システムは1フレームあたり40,000点以上の3次元表面点を取得でき、従来のグリント追跡で使用される約12点と比較して3,300倍以上も多点を取得する。
• 生体上での定性的な評価で、再構成された視線ベクトルが瞳孔中心を通り、視覚的光学軸と一致していることが確認され、正しい方向推定が行われていることが示された。
• 最小二乗最適化による外れ値の除外に成功したことで、総膜上の血管や高密度に湾曲したリムバス領域などの表面の不規則性に対しても、本手法は耐性があることが実証された。
• 3次元表面再構成の精度は、ユーザーの眼鏡や事前キャリブレーションを不要とするVR/ARヘッドセットにおけるリアルタイム視覚補正を可能にするのに十分である。
• 虹彩や瞳孔中心などの2次元画像特徴に依存しないため、角膜の屈折による誤差が低減され、耐障害性が向上している。