[論文レビュー] An Integrated System for 3D Gaze Recovery and Semantic Analysis of Human Attention

Lucas Paletta, Katrin Santner+1 more|arXiv (Cornell University)|Jul 30, 2013

Robotics and Sensor-Based Localization参考文献 8被引用数 4

ひとこと要約

本稿では、RGB-D SLAMと記述子マッチングを用いて、リアルタイムでの3次元視線回復と人間の注意の意味的分析を可能にする統合型コンピュータビジョンシステムを提示する。本システムは環境の自動3次元モデルを構築し、ユーザーの位置を同定し、視線データを用いて注目領域（ROIs）をアノテートする。これにより、現実世界の設定において人間の注意の完全な3次元マッピングが可能となる。

ABSTRACT

This work describes a computer vision system that enables pervasive mapping and monitoring of human attention. The key contribution is that our methodology enables full 3D recovery of the gaze pointer, human view frustum and associated human centered measurements directly into an automatically computed 3D model in real-time. We apply RGB-D SLAM and descriptor matching methodologies for the 3D modeling, localization and fully automated annotation of ROIs (regions of interest) within the acquired 3D model. This innovative methodology will open new avenues for attention studies in real world environments, bringing new potential into automated processing for human factors technologies.

研究の動機と目的

• 自然で構造のない環境において、普及型でリアルタイムでの人間の注意の監視を可能にすること。
• リアルタイムでユーザーの完全な3次元視線ポインタおよび視界領域を回復すること。
• 意味的な注目領域（ROIs）のアノテーションを施した、自動的に計算された環境の3次元モデルを生成すること。
• 視線データを3次元シーンの幾何構造と統合し、人間中心の測定および注意分析を可能にすること。
• 現実世界の3次元注意マッピングを通じて、人因性要因および注意研究における自動処理を支援すること。

提案手法

• システムはRGB-D SLAMを用いて、リアルタイムで環境の高密度な3次元再構成を実現する。
• ユーザーの3次元モデル内での正確な局所化には記述子マッチングが適用される。
• 視線方向は単眼またはステレオカメラデータと頭部ポーズ推定を組み合わせて推定される。
• 注目領域（ROIs）は、視覚的記述子と空間クラスタリングを用いて3次元モデル上で自動的に検出され、アノテートされる。
• 意味的分析により、視線データがアノテートされたROIsにリンクされ、3次元空間における注意マッピングが可能になる。
• パイプライン全体がリアルタイムで動作し、人間の注意の継続的モニタリングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 動的で現実世界の環境において、3次元視線方向をリアルタイムで正確に回復するにはどうすればよいか？
• RQ2 RGB-D SLAMと記述子マッチングは、注意追跡に適した堅牢な3次元シーン再構成とユーザー局所化を可能にするか？
• RQ3 手動入力なしで、3次元モデル上に注目領域（ROIs）を自動的に検出し、アノテートすることは可能か？
• RQ4 視線データの意味的分析を3次元シーンの幾何構造とどの程度統合できるか。これにより、意味のある注意マッピングが可能になるか？
• RQ5 本システムは、制約のない環境において、自動的かつリアルタイムでの人間の注意モニタリングを支援できるか？

主な発見

• 本システムは、RGB-D SLAMと頭部ポーズ・視線推定を組み合わせることで、リアルタイムでの3次元視線回復を達成している。
• 記述子マッチングと空間クラスタリングを用いることで、自動的3次元モデリングとROIアノテーションが実現され、手動ラベル付けが不要となった。
• 本システムは、自動生成された3次元環境モデル内において、人間の視界領域および視線ポインタの完全な3次元マッピングを可能にしている。
• 3次元シーン内のアノテート済みROIsと関連付けることで、注意の意味的分析が実施されている。
• 3次元視線追跡と意味的シーン理解の統合により、現実世界の設定における自動化された注意研究の新たな可能性が開かれた。
• 本アプローチにより、制約のない環境で自動的かつリアルタイムでの注意モニタリングが可能となり、人因性要因の応用が支援された。