[論文レビュー] A Ground-Truth Data Set and a Classification Algorithm for Eye Movements in 360-degree Videos

Ioannis Agtzidis, Mikhail Startsev+1 more|arXiv (Cornell University)|Mar 15, 2019

Gaze Tracking and Assistive Technology参考文献 40被引用数 8

ひとこと要約

本論文は、固定視線、けい粋、滑らかな追従、および頭部駆動型運動（VOR、眼振、頭部追従）の手動アノテーションを含む、公開可能な360°動画眼動追跡データセットを紹介する。2段階のアノテーションパイプラインと、眼頭座標系および眼世界座標系の両方の速度指標を用いたルールベース分類アルゴリズムを提案し、これらの参照フレームを統合することで、特に滑らかな追従や前庭眼動反射のような複雑な眼動作の検出精度が著しく向上することを示している。単一フレーム参照システムに依存する手法と比較して顕著な改善が得られた。

ABSTRACT

The segmentation of a gaze trace into its constituent eye movements has been actively researched since the early days of eye tracking. As we move towards more naturalistic viewing conditions, the segmentation becomes even more challenging and convoluted as more complex patterns emerge. The definitions and the well-established methods that were developed for monitor-based eye tracking experiments are often not directly applicable to unrestrained set-ups such as eye tracking in wearable contexts or with head-mounted displays. The main contributions of this work to the eye movement research for 360-degree content are threefold: First, we collect, partially annotate, and make publicly available a new eye tracking data set, which consists of 13 participants viewing 15 video clips that are recorded in 360-degree. Second, we propose a new two-stage pipeline for ground truth annotation of the traditional fixations, saccades, smooth pursuits, as well as (optokinetic) nystagmus, vestibulo-ocular reflex, and pursuit of moving objects performed exclusively via the movement of the head. A flexible user interface for this pipeline is implemented and made freely accessible for use or modification. Lastly, we develop and test a simple proof-of-concept algorithm for automatic classification of all the eye movement types in our data set based on their operational definitions that were used for manual annotation. The data set and the source code for both the annotation tool and the algorithm are publicly available at https://web.gin.g-node.org/ioannis.agtzidis/360_em_dataset.

研究の動機と目的

• 自然な、頭部自由な360°動画視聴状況における眼動作分類のための標準化され、公開可能な真値データの不足に対処すること。
• 頭部運動を伴う複雑な眼動作タイプのラベリングを可能にする柔軟でオープンソースのアノテーションパイプラインの開発。
• 眼頭座標系および眼世界座標系の両方の速度指標を活用したルールベース分類アルゴリズムの提案と評価を行い、主眼動作および副眼動作タイプの検出精度を向上させること。
• 特にウェアラブル機器やHMDベースの眼動追跡システムを想定した、没入的かつ制約のない環境における眼動作分類のベンチマークを確立すること。

提案手法

• 13名の参加者が15本の360°動画クリップを視聴する際の頭部運動および視線を、高い時間分解能で記録したデータセットを収集した。
• 手動ラベリングを可能にするカスタマイズ可能なユーザーインターフェースを備えた、2段階のアノテーションパイプラインを設計・実装した。固定視線、けい粋、滑らかな追従、および頭部駆動型運動（VOR、眼振、頭部追従）を対象とした。
• 眼動作分類には、眼頭座標系および眼世界座標系の両方で速度閾値を計算するルールベースアルゴリズムを用いた。
• アルゴリズムは3つの設定で評価された：眼世界座標系（FOV）のみ、眼頭座標系（E+H）のみ、および両方の参照フレームを組み合わせた方法。
• F1スコアはHoogeら（2017）の標準的手順に従い、各眼動作タイプごとに算出した。
• アルゴリズムは手動アノテート済みのテストセットで評価され、頭部運動統合の影響を評価するために、異なる参照フレームの組み合わせごとに性能が分析された。

実験結果

リサーチクエスチョン

• RQ1 自然な360°動画視聴状況において、頭部運動を伴う多様な眼動作タイプ（固定視線、けい粋、滑らかな追従、VOR、眼振、頭部追従など）の正確な手動アノテーションを含む包括的で公開可能な眼動追跡データセットを構築可能か？
• RQ2 眼頭座標系および眼世界座標系の両方の速度情報の統合が、滑らかな追従や前庭眼動反射のような複雑な眼動作の分類にどのように寄与するか？
• RQ3 単一参照フレームの速度閾値に基づく従来の分類アルゴリズムは、制約のない頭部運動環境下で、類似した眼動作タイプ（例：固定視線＋VOR と 滑らかな追従）をどのように誤分類するか？
• RQ4 運用定義と二重参照フレームデータに従うルールベースアルゴリズムが、360°動画シナリオにおいて、頑健かつ正確な眼動作分類を達成できるか？
• RQ5 通常のVRシステムで一般的に用いられる眼世界座標系（FOV）のみに依存する場合と、眼と頭部運動データを統合する場合とで、眼動作分類の性能はどのように異なるか？

主な発見

• FOV（眼世界座標系）のみを用いたバージョンでは、けい粋および特に滑らかな追従のF1スコアが著しく低く、頭部運動補償による誤分類が生じることが示された。
• E+H（眼頭座標系）のみのバージョンはFOVより良好に性能を示したが、VOR や頭部追従といった副眼動作タイプを検出できず、眼と頭部運動の両方の知識が不可欠であることが明らかになった。
• 眼頭座標系および眼世界座標系の両方の速度指標を用いた統合アルゴリズムは、すべての主眼動作および副眼動作タイプで最高のF1スコアを達成し、二重参照フレーム統合の必要性を裏付けた。
• 統合アルゴリズムは、OKN+VOR といった複雑な組み合わせも正しく検出できたが、他の2つのバージョンでは見逃されていた。
• 本研究では、固定閾値手法（例：速度ベース）が、人間による文脈認識に基づく意思決定に比べて、特に類似した眼動作タイプ（例：固定視線＋VOR と 滑らかな追従）の区別に不十分であることが確認された。
• 今後のアルゴリズムは、ジャイロスコープからの頭部運動データに加え、視線のターゲットと動画オブジェクトの動きの対応関係を統合することで、より頑健で正確な分類が可能になると示唆された。