[論文レビュー] Human Attention Detection Using AM-FM Representations

Wenjing Shi|arXiv (Cornell University)|Mar 9, 2022

Infrared Target Detection Methodologies被引用数 8

ひとこと要約

本稿では、制約のない動画環境において顔の向き、後頭部の存在、視線方向を検出するため、振幅変調周波数変調（AM-FM）モデルを用いた位相ベースの人的注目検出手法を提案する。AOLMEデータセットの19,387枚の画像を用いた評価において、カメラを向いている場合の左視線検出で97.1%、右視線検出で95.9%の精度を達成し、後頭部の場合には左視線で87.6%、右視線で93.3%の精度を示した。これは、制御された撮影幾何学的条件がなくても、現実の状況において強い耐障害性を示していることを示している。

ABSTRACT

Human activity detection from digital videos presents many challenges to the computer vision and image processing communities. Recently, many methods have been developed to detect human activities with varying degree of success. Yet, the general human activity detection problem remains very challenging, especially when the methods need to work 'in the wild' (e.g., without having precise control over the imaging geometry). The thesis explores phase-based solutions for (i) detecting faces, (ii) back of the heads, (iii) joint detection of faces and back of the heads, and (iv) whether the head is looking to the left or the right, using standard video cameras without any control on the imaging geometry. The proposed phase-based approach is based on the development of simple and robust methods that rely on the use of Amplitude Modulation- Frequency Modulation (AM-FM) models. The approach is validated using video frames extracted from the Advancing Out-of-school Learning in Mathematics and Engineering (AOLME) project. The dataset consisted of 13,265 images from ten students looking at the camera, and 6,122 images from five students looking away from the camera. For the students facing the camera, the method was able to correctly classify 97.1% of them looking to the left and 95.9% of them looking to the right. For the students facing the back of the camera, the method was able to correctly classify 87.6% of them looking to the left and 93.3% of them looking to the right. The results indicate that AM-FM based methods hold great promise for analyzing human activity videos.

研究の動機と目的

• 制御された撮影幾何学的条件がなくても、制約のない動画環境における人的注目検出のための頑健で位相ベースの手法を開発すること。
• 標準的なビデオカメラを用いて、現実世界の環境で頭部の向きと視線方向を検出する課題に対処すること。
• AM-FMモデルを用いて、顔、後頭部、視線方向を同時に検出する可能性を検討すること。
• 教育現場で学生から収集した実世界のデータセットを用いて、手法の妥当性を検証すること。

提案手法

• 本手法は、動画フレームから位相ベースの特徴を抽出するために、振幅変調周波数変調（AM-FM）モデルを用いる。これにより、構造的および方向的情報を強調する。
• 振幅と周波数の変調をモデル化するため、経験的モード分解（EMD）とヒルベルト変換を用いて位相情報を抽出する。
• 局所的位相一致と方向特徴を用いて、頭部領域を検出し、頭部姿勢を推定する。
• 分類パイプラインを適用して、頭部が前方を向いている（顔または後頭部）かどうか、および視線の方向（左または右）を特定する。
• 本手法は単純で頑健であるように設計されており、正確なキャリブレーションや制御された照明条件に依存しないようにする。
• 動画フレームから特徴を抽出し、AOLMEデータセットからのラベル付きデータで訓練された分類器に供給する。

実験結果

リサーチクエスチョン

• RQ1 AM-FM表現は、制約のない動画フレームにおいて、人の顔や後頭部を効果的に検出できるか？
• RQ2 制御された撮影幾何学的条件がなくても、位相ベースの特徴を用いて視線方向（左または右）をどれほど正確に推定できるか？
• RQ3 変動する照明条件やカメラアングルを伴う実世界の動画データに適用した場合、AM-FMモデルは耐障害性を維持できるか？
• RQ4 統一された位相ベースのフレームワークは、複数の注目関連の手がかり（顔、後頭部、視線）を同時に検出できるか？
• RQ5 非制御環境において、AM-FMアプローチの性能は従来の手法と比べてどうなるか？

主な発見

• カメラを向いている学生に対して、左視線の分類で97.1%の正確さを達成した。
• カメラを向いている学生の場合、右視線のケースの95.9%が正しく分類された。
• 後頭部の向きを検出する際、左視線のケースの87.6%が正しく特定された。
• 後頭部のケースでは、右視線のケースの93.3%が正しく分類された。
• 全体的な結果から、現実世界の制約のない動画環境において、強い耐障害性と一般化能力が示された。
• AM-FMに基づくアプローチは、複雑で非制御的な環境において、従来の強度ベースの手法を上回る性能を示した。