[論文レビュー] A Computer Vision System for Attention Mapping in SLAM based 3D Models

Lucas Paletta, Katrin Santner+5 more|arXiv (Cornell University)|May 6, 2013

Robotics and Sensor-Based Localization参考文献 20被引用数 6

ひとこと要約

本論文は、RGB-Dセンサを用いてSLAMによって生成された3次元環境内でのリアルタイムコンピュータビジョンシステムを提示する。このシステムは、RGB-D SLAMと記述子マッチングを組み合わせることで、視線の方向、視界領域、および注目領域（ROI）のアノテーションを、自動的に再構築された3次元モデル上で直接、完全に3次元的に回復可能である。これにより、現実世界の環境における自動的人因要因分析が可能となる。

ABSTRACT

The study of human factors in the frame of interaction studies has been relevant for usability engi-neering and ergonomics for decades. Today, with the advent of wearable eye-tracking and Google glasses, monitoring of human factors will soon become ubiquitous. This work describes a computer vision system that enables pervasive mapping and monitoring of human attention. The key contribu-tion is that our methodology enables full 3D recovery of the gaze pointer, human view frustum and associated human centred measurements directly into an automatically computed 3D model in real-time. We apply RGB-D SLAM and descriptor matching methodologies for the 3D modelling, locali-zation and fully automated annotation of ROIs (regions of interest) within the acquired 3D model. This innovative methodology will open new avenues for attention studies in real world environments, bringing new potential into automated processing for human factors technologies.

研究の動機と目的

• ウェアラブル視線追跡とRGB-Dセンサを用いて、自然環境におけるリアルタイムで3次元に配慮した注目マッピングを可能にすること。
• 人因要因研究における現実世界の環境において、統合的3次元視線追跡と空間的アノテーションの欠如を解消すること。
• コンピュータビジョン技術を用いて3次元モデル内での注目領域（ROIs）の検出とラベル付けを自動化すること。
• 視線データをSLAMベースの3次元再構成と統合し、正確で人中心の空間的測定を可能にすること。

提案手法

• システムはRGB-D SLAMを用いて、環境の高密度かつリアルタイムの3次元再構築を実行する。
• 校正済みの視線カメラ幾何学を用いて、単眼視線追跡データから得た視線方向を3次元空間に投影する。
• 視覚特徴のマッチング（例：SIFTまたは類似手法）を用いて、視線追跡されたシーンと3次元モデルとの間で局所化を実行する。
• 視線密度および凝視パターンに基づいて、3次元モデル内での注目領域（ROIs）を自動的に検出し、アノテートする。
• システムは3次元空間における人間の視界領域（view frustum）を計算し、視覚的注目の空間的分析を可能にする。
• すべての処理はリアルタイムで実行され、動的で現実世界の環境における注目状態の継続的モニタリングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 SLAMによる3次元再構築環境において、視線データをどのように正確に3次元空間にマッピングし、空間的注目分析を可能にするか？
• RQ2 視線追跡と視覚特徴を用いて、リアルタイムかつ完全自動のROIsアノテーションを実現するための技術は何か？
• RQ3 ウェアラブル視線追跡とRGB-Dデータから、3次元空間における視線方向および視界領域を回復できるか？
• RQ4 人因要因評価のため、3次元シーン内での注目パターンを定量的に測定・可視化する方法は何か？
• RQ5 SLAMと視線追跡を統合することで、非構造的環境における自動的かつリアルタイムの注目マッピングが実現可能か？

主な発見

• システムは、SLAMによって生成された3次元モデル内において、リアルタイムでの視線方向および視界領域の完全な3次元回復に成功した。
• 記述子マッチングと凝視パターンのクラスタリングを用いることで、自動的なROIs検出とアノテーションが可能となった。
• 本手法は、3次元環境内での完全自動的で人中心の空間的測定を可能にした。
• 視線追跡とRGB-D SLAMの統合により、現実世界の環境において持続的かつ文脈に配慮した注目マッピングが実現した。
• 本アプローチは、特にユーザビリティ工学およびエルゴノミクス分野における自動的人因要因分析の新応用を可能にした。
• システムは、自然で動的環境における普及型注目モニタリングの実現可能性を示した。