[論文レビュー] Pupil: An Open Source Platform for Pervasive Eye Tracking and Mobile Gaze-based Interaction

Moritz Kassner, William Patera+1 more|arXiv (Cornell University)|Apr 30, 2014

Gaze Tracking and Assistive Technology参考文献 19被引用数 130

ひとこと要約

Pupil は、高解像度のシーンカメラおよび赤外線眼カメラを備えた軽量ヘッドセットと、リアルタイムでの瞳孔検出、視線推定、データ可視化を可能にするクロスプラットフォームソフトウェアフレームワークを組み合わせた、オープンソースで低コストかつ拡張可能なモバイルアイトラッキングプラットフォームを提供する。0.6°の平均視線精度と、わずか0.045秒の処理遅延を達成しており、日常的な環境でも広範かつリアルタイムでの視線ベースのインタラクションを実現する。

ABSTRACT

Commercial head-mounted eye trackers provide useful features to customers in industry and research but are expensive and rely on closed source hardware and software. This limits the application areas and use of mobile eye tracking to expert users and inhibits user-driven development, customisation, and extension. In this paper we present Pupil -- an accessible, affordable, and extensible open source platform for mobile eye tracking and gaze-based interaction. Pupil comprises 1) a light-weight headset with high-resolution cameras, 2) an open source software framework for mobile eye tracking, as well as 3) a graphical user interface (GUI) to playback and visualize video and gaze data. Pupil features high-resolution scene and eye cameras for monocular and binocular gaze estimation. The software and GUI are platform-independent and include state-of-the-art algorithms for real-time pupil detection and tracking, calibration, and accurate gaze estimation. Results of a performance evaluation show that Pupil can provide an average gaze estimation accuracy of 0.6 degree of visual angle (0.08 degree precision) with a latency of the processing pipeline of only 0.045 seconds.

研究の動機と目的

• 研究および産業分野におけるアクセス性と拡張性を制限する、商業用ヘッドマウントアイトラッカーの高コストおよびクローズドソースの性質に対処すること。
• 実世界のモバイル環境において、広範かつリアルタイムでアイトラッキングを実現する、アクセス可能で低コストかつ拡張可能なオープンソースプラットフォームの開発。
• オープンハードウェアおよびソフトウェア設計を通じて、ユーザー主導の開発、カスタマイズ、コミュニティ主導のイノベーションを可能にすること。
• リアルタイムアプリケーションに適した、高い精度と低い遅延を実現する視線推定の実現。
• モジュラーでプラットフォーム非依存かつ包括的なドキュメンテーションを備えたツールにより、多様な研究分野および応用分野を支援すること。

提案手法

• 本システムは、高解像度のシーンカメラおよび赤外線眼カメラを備えた軽量3Dプリンティングによるヘッドセットを採用し、ダーク・パupil検出を実現する。
• Pupil Capture ソフトウェアはUSB 2.0経由でビデオストリームを処理し、リアルタイムでの瞳孔検出、視線マッピング、データ記録を可能にする。
• ソフトウェアスタックはオープンソースのコンピュータビジョンライブラリを採用しており、記録、ストリーミング、分析のためのリアルタイムプラグインをサポートする。
• Pupil は、処理パイプラインにおける遅延を最小限に抑えるために、ハードウェアタイムスタンプを用いる。
• 本システムは、ユーザーが装着した状態でのエラゴノミクスおよびカメラアライメント最適化を図るため、有限要素解析（FEA）を活用する。
• ソフトウェアフレームワークはプラットフォーム非依存であり、キャリブレーション、瞳孔追跡、視線推定のための最新鋭のアルゴリズムを備えている。

実験結果

リサーチクエスチョン

• RQ1 オープンソースで低コストなアイトラッキングプラットフォームは、商業システムと同等の精度および遅延を達成できるか？
• RQ2 オープンハードウェアおよびソフトウェアは、モバイルアイトラッキング分野におけるアクセス性、カスタマイズ性、コミュニティ主導のイノベーションをどのように向上させるか？
• RQ3 一般消費者向けのカメラとオープンソースのコンピュータビジョンパイプラインを用いて、どの程度の視線推定精度と処理遅延を達成できるか？
• RQ4 リアルタイム処理において、アイビデオストリームとシーンビデオストリームの間で、時間的整合性と同期をどのように維持できるか？
• RQ5 モジュラーでユーザーが変更可能なハードウェアおよびソフトウェアは、パーソナライズドアイトラッキングにおける多様な研究および応用ニーズをどの程度まで満たせるか？

主な発見

• Pupil は、平均して0.6度の視角の視線推定精度（標準誤差0.08度）を達成しており、モバイルアイトラッキング分野において高い精度を示している。
• アイパイプラインの総処理遅延は0.045秒（±0.003秒）、ワールドパイプラインの遅延は0.124秒（±0.005秒）であり、リアルタイムでの視線インタラクションを可能にしている。
• ハードウェアタイムスタンプを用いることで、時間的精度を高く維持しており、これはリアルタイムおよび後処理応用における正確な同期に不可欠である。
• Pupil Capture ソフトウェアは、2GB RAM の2010年製MacBook Airなど低消費電力のハードウェアでも効率的に動作し、瞳孔検出で30fps、シーンキャプチャで24fpsの安定した性能を発揮している。
• 本プラットフォームはリアルタイムデータブロードキャストをサポートしており、最新の利用可能なアイデータを優先して送信するため、厳密な同期を保つよりもリアルタイム用途に最適である。
• 本システムは拡張可能でコミュニティ主導の仕組みであり、活発な開発、包括的なドキュメンテーション、フォーラムおよびオープンソースリポジトリを通じたサポートを備えている。