[論文レビュー] TabletGaze: Unconstrained Appearance-based Gaze Estimation in Mobile Tablets

Qiong Huang, Ashok Veeraraghavan+1 more|arXiv (Cornell University)|Aug 5, 2015

Gaze Tracking and Assistive Technology参考文献 45被引用数 35

ひとこと要約

本稿では、キャリブレーションやユーザー制約なしに、前面カメラのみを用いたモバイルタブレット向けの外観ベースの視線推定システム「TabletGaze」を提案する。新たに収集した非制約的データセット（Rice TabletGaze）を用い、マルチレベルのHOG特徴量とランダムフォレスト回帰器を採用することで、多様なユーザーおよび姿勢において平均誤差3.17 cmの視線推定を実現した。

ABSTRACT

We study gaze estimation on tablets, our key design goal is uncalibrated gaze estimation using the front-facing camera during natural use of tablets, where the posture and method of holding the tablet is not constrained. We collected the first large unconstrained gaze dataset of tablet users, labeled Rice TabletGaze dataset. The dataset consists of 51 subjects, each with 4 different postures and 35 gaze locations. Subjects vary in race, gender and in their need for prescription glasses, all of which might impact gaze estimation accuracy. Driven by our observations on the collected data, we present a TabletGaze algorithm for automatic gaze estimation using multi-level HoG feature and Random Forests regressor. The TabletGaze algorithm achieves a mean error of 3.17 cm. We perform extensive evaluation on the impact of various factors such as dataset size, race, wearing glasses and user posture on the gaze estimation accuracy and make important observations about the impact of these factors.

研究の動機と目的

• キャリブレーションや制御されたユーザー姿勢を要しない、モバイルタブレットにおける視線推定を可能にすること。
• 多様なユーザーの人口統計と姿勢を捉えた、初めての大規模な非制約的視線データセット（Rice TabletGaze）を収集・公開すること。
• 多様な照明、目の形、眼鏡着用、ユーザー姿勢に対応できる、頑健な外観ベースの視線推定アルゴリズムの開発。
• データセットのサイズ、人種、眼鏡使用、姿勢が視線推定精度に与える影響の評価。
• ハンドフリーインタラクションや行動分析などの応用に適した、リアルタイムでデバイス上での実行が可能な視線推定の実現。

提案手法

• 51名の被験者、4種類の姿勢、被験者1人あたり35か所の視線位置を含む大規模な非制約的視線データセット（Rice TabletGaze）を収集した。
• 前面カメラ画像における目の位置を特定するため、カスケード型目の検出器を用いた。
• 切り出し済み目の領域からマルチレベルの勾配方向ヒストグラム（mHoG）特徴量を抽出した。
• mHoG特徴量の次元を低減するために線形判別分析（LDA）を適用した。
• LDAで次元削減された特徴量を用いて、ランダムフォレスト回帰器を訓練し、タブレット画面上の2次元視線位置を予測した。
• 交差検証法（1人を除いた交差検証）を用いて性能を評価し、視線予測の時間的ゆらぎを低減するためにバイラテラルフィルタを適用した。

実験結果

リサーチクエスチョン

• RQ1 キャリブレーションやユーザー制約なしに、モバイルタブレット上で外観ベースの視線推定はどの程度の精度で達成可能か？
• RQ2 人種や眼鏡使用といったユーザーの人口統計的要因が、非制約的環境下での視線推定精度に与える影響は何か？
• RQ3 立位、座位、うつぶせ、横臥などの異なるユーザー姿勢が、視線推定性能に与える影響は何か？
• RQ4 非制約的タブレット視線推定において、特徴表現と回帰モデルの最適な組み合わせは何か？
• RQ5 目の中心位置と大きさの特徴量を用いて、頭部ポーズの隠れた情報を抽出することで、視線推定精度が向上するか？

主な発見

• TabletGazeアルゴリズムは、タブレット画面における視線推定で平均誤差3.17 ± 2.10 cmを達成し、非制約的なモバイル利用において高い精度を示した。
• アルゴリズムは、人種が異なる被験者や処方眼鏡を装用する被験者を含む多様なユーザーの人口統計的背景に対しても、頑健な性能を維持した。
• 目の中心位置と大きさの特徴量を頭部ポーズの代理指標として組み込んだが、精度向上に顕著な寄与は得られず、直接的な特徴量追加による利益は限定的であった。
• バイラテラルフィルタは、視線予測の時間的ゆらぎを効果的に低減し、精度を損なわず滑らかさを向上させた。
• Rice TabletGazeデータセットは、顔面の遮蔽、姿勢の変動、眼鏡によるレンズの反射といった、推定の信頼性に影響を与える主な課題を明らかにした。
• 広範なアブレーション実験の結果、mHoGとランダムフォレストの組み合わせが他の特徴量・回帰モデルの組み合わせを上回り、本タスクに有効であることが確認された。