[論文レビュー] Real-world Mapping of Gaze Fixations Using Instance Segmentation for Road Construction Safety Applications

Idris Jeelani, Khashayar Asadi+3 more|arXiv (Cornell University)|Jan 30, 2019

Occupational Health and Safety Research参考文献 50被引用数 7

ひとこと要約

本論文は、マスクR-CNNモデルを用いたトランスファーラーニングによるインスタンスセグメンテーションを活用し、実際の道路建設現場環境において、ウェアラブル眼動測定装置の注視点を事前に定義された注目領域（AOI）に自動的にマッピングするコンピュータビジョンシステムを提案する。このシステムは、掘削機、発電機、電気ケーブルなどの危険要因に対して88％の正確性を達成し、作業者の注視行動と危険認識パフォーマンスの自動分析を可能にする。

ABSTRACT

Research studies have shown that a large proportion of hazards remain unrecognized, which expose construction workers to unanticipated safety risks. Recent studies have also found that a strong correlation exists between viewing patterns of workers, captured using eye-tracking devices, and their hazard recognition performance. Therefore, it is important to analyze the viewing patterns of workers to gain a better understanding of their hazard recognition performance. This paper proposes a method that can automatically map the gaze fixations collected using a wearable eye-tracker to the predefined areas of interests. The proposed method detects these areas or objects (i.e., hazards) of interests through a computer vision-based segmentation technique and transfer learning. The mapped fixation data is then used to analyze the viewing behaviors of workers and compute their attention distribution. The proposed method is implemented on an under construction road as a case study to evaluate the performance of the proposed method.

研究の動機と目的

• 既存の研究が静的画像に依存しているのに対し、作業現場で実際に作業している建設作業員の現実世界における視覚的探索行動の理解に欠けている点を補うため。
• 動的で変化し続ける建設現場環境において、眼動測定による注視点データを現実の危険要因の位置に自動的にマッピングするシステムを開発するため。
• コンピュータビジョンとディープラーニングを用いて注視分布と注視パターンを分析することで、危険認識パフォーマンスを向上させるため。
• リアルタイムでの作業者の危険要因への視覚的注視の度合いを定量的に評価することで、スケーラブルかつデータドリブンな安全訓練を可能にするため。
• 実際の道路建設現場で、事前に定義された危険物（AOI）に注視点をマッピングするシステムの正確性を検証するため。

提案手法

• 活動中の道路建設現場で作業する建設作業員から、リアルタイムの動画と注視点データをウェアラブル眼動測定グラスを用いて収集する。
• 事前に学習済みのマスクR-CNNモデルを転移学習により微調整し、動画フレーム内に事前に定義された危険物（例：掘削機、発電機、電気ケーブル）を検出・セグメンテーションする。
• 注視点検証のための空間的境界を定義するために、関心対象の各オブジェクト（AOI）に対してピクセルレベルのインスタンスマスクを生成する。
• 100 Hzの眼動測定データと25 fpsの動画フレームとの間の時間的同期を図り、フレームレートの不一致を補正する。
• 注視点が検出されたオブジェクトのマスク内にあるかどうかを確認することで、注視点がAOI内にあるかを判断する。
• 25枚のテストフレームから手動でラベル付けされた正解データと照合することで、システムの正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのインスタンスセグメンテーションモデルは、実際の建設現場の動画において、事前に定義された危険物を正確に検出し、マスクを生成できるか？
• RQ2 コンピュータビジョン技術を用いて、ウェアラブル眼動測定装置から得られる注視点を、現実のオブジェクト位置にどの程度正確にマッピングできるか？
• RQ3 画像品質、オブジェクト位置（例：中心対周辺）、およびモーショーブラーの要因によって、システムのパフォーマンスにどの程度の差が生じるか？
• RQ4 注視点マッピングで測定された作業者の注視分布と、現実環境における危険認識パフォーマンスの相関関係はいかほどか？
• RQ5 動的で現実の建設現場環境において、電気ケーブル、掘削機、発電機などの危険物を、信頼性高く検出し分類できるか？

主な発見

• 25枚のテストフレーム全体で、注視点を事前に定義された危険領域（AOI）にマッピングする精度が88％に達し、25回中22回の注視点が正しく同定された。
• 主な失敗要因は、オブジェクトの端縁付近でのマスク生成エラーと、頭部の動きによる画像のぼやけによるオブジェクト検出の失敗であった。
• 急速な頭部の動きによるぼやけた画像は、特に小さなか遠く離れたオブジェクト（例：電気ケーブル）の検出精度を低下させた。
• 注視点がオブジェクトのマスク内中央部に位置する場合、注視点マッピングの正確性が最も高かったが、オブジェクトの縁に近い領域では誤差率が高かった。
• 主な危険物タイプ（掘削機、発電機、電気ケーブル）について、ターゲット内と外の注視点を、システムが的確に区別できた。
• 100 Hzの眼動測定データと25 fpsの動画との間の時間的ずれは補正されたが、同期化の限界により、わずかな残存誤差が残存していた。