[論文レビュー] Pistol: Pupil Invisible Supportive Tool to extract Pupil, Iris, Eye Opening, Eye Movements, Pupil and Iris Gaze Vector, and 2D as well as 3D Gaze

Wolfgang Fuhl, Daniel Weber+1 more|arXiv (Cornell University)|Jan 18, 2022

Gaze Tracking and Assistive Technology被引用数 26

ひとこと要約

Pistol は、Pupil Invisible データ（オフライン）を処理して、瞳孔・虹彩の形状、瞳孔開口、眼球運動、マーカー、2D/3D の gaze を Levenberg–Marquardt フィッティングとニューラルネットワークを用いて抽出する特徴量抽出と視線推定のツールキットです。

ABSTRACT

This paper describes a feature extraction and gaze estimation software, named extit{Pistol} that can be used with Pupil Invisible projects and other eye trackers in the future. In offline mode, our software extracts multiple features from the eye including, the pupil and iris ellipse, eye aperture, pupil vector, iris vector, eye movement types from pupil and iris velocities, marker detection, marker distance, 2D gaze estimation for the pupil center, iris center, pupil vector, and iris vector using Levenberg Marquart fitting and neural networks. The gaze signal is computed in 2D for each eye and each feature separately and for both eyes in 3D also for each feature separately. We hope this software helps other researchers to extract state-of-the-art features for their research out of their recordings. Link: https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/?p=%2FPISTOL&mode=list

研究の動機と目的

• 瞳孔インビジブルな記録から、幅広い眼の特徴を抽出する無料ツールを提供する。
• 複数の最適化手法を用いて、眼ごとの 2D 視線推定と両眼を横断した 3D 視線推定を可能にする。
• 研究および産業応用を支援するために、瞳孔/虹彩のランドマーク、眼瞼、眼開き、眼球運動の頑健な検出を提供する。
• 今後のアイトラッカーとの互換性と Pupil Invisible プロジェクトとの統合をサポートする。

提案手法

• テンソル正規化と完全分布訓練を用いた小規模な DNN を用いて、瞳孔・虹彩・眼瞼のランドマークを検出する。
• OpenCV の ellipse fitting と三次スプラインを用いて、瞳孔/虹彩の楕円をフィットさせ、眼瞼には三次スプラインを用いる。
• 目の開きは、目尻ベクトルに直交する制約を持つ最適化によって推定する。
• ニューラルネットワークを用いて眼球の半径と中心を算出し、中心間ベクトルから光学ベクトルを導出する。
• 瞳孔ベクトルと虹彩ベクトルの角度および開きの差を用いて、ニューラルネットワークで眼球運動を分類する。
• 粗い DNN 検出器と細い DNN 検出器でキャリブレーション用マーカーを検出し、深度と視線のキャリブレーションをサポートする。

実験結果

リサーチクエスチョン

• RQ1 Pistol は瞳孔/虹彩の楕円、眼瞼、眼球、ベクトルなど、包括的な眼の特徴を瞳孔インビジブルデータからどの程度効果的に抽出できるのか？
• RQ2 Levenberg–Marquardt フィッティングとニューラルネットワークを用いた 2D 視線推定の精度は、個別眼と両眼を組み合わせた設定でどの程度になるのか？
• RQ3 頭部/眼ポーズの変化に対して、深度推定と視線計算のためのマーカー検出によるキャリブレーションの信頼性はどの程度か？
• RQ4 旧世代 GPU でのリアルタイムオフライン処理の実行時特性とハードウェア要件はどの程度か？

主な発見

• Pistol は、注釈データで瞳孔中心 RMSE が約 0.93 px、虹彩ランドマーク RMSE が約 1.12 px、瞳孔/虹彩の眼瞼 IoU が約 0.84–0.91（表3）と達成する。
• 2D 視線推定は方法と眼によって平均約 21.8–32.3 px、両眼結合の 2D 推定は約 18.5–22.9 px（表5）。
• 3D 視線推定の平均誤差は方法ごとに ~19.6–20.5 px の範囲（表5）。
• マーカ検出の粗い段階は平均 6.70 px のランドマーク精度、偽検出率 2.34%; 細部検出器は精度を 0.82 px、偽検出率を 0.001% に低減（表7）。
• Pistol は GTX 1050Ti で特徴検出が約 17.21 ms/フレーム、マーカー検出が約 57 ms/フレームで実行（表8）。
• KNN アプローチを用いた深度推定は実用的な精度を示し、ほとんどの誤差が 50 cm 未満だが、近視近距離の深度は依然として困難である（図10）。