[論文レビュー] Feature Detection for Hand Hygiene Stages

Rashmi Bakshi, Jane Courtney+2 more|arXiv (Cornell University)|Aug 6, 2021

Hand Gesture Recognition Systems参考文献 8被引用数 4

ひとこと要約

本論文は、独自に構築したアルミ製フレームのデータセットを用いて、特徴検出アルゴリズムを用いた手洗いの段階を検出するコンピュータビジョンパイプラインを提案する。静止画像における「手のひらを合わせてこする」段階に対して、ハリス、シータマシ、SIFT検出器を評価し、WHOが推奨する手洗いステップを動画ベースのディーブラーニング分類に応用する可能性を示している。

ABSTRACT

The process of hand washing involves complex hand movements. There are six principal sequential steps for washing hands as per the World Health Organisation (WHO) guidelines. In this work, a detailed description of an aluminium rig construction for creating a robust hand-washing dataset is discussed. The preliminary results with the help of image processing and computer vision algorithms for hand pose extraction and feature detection such as Harris detector, Shi-Tomasi and SIFT are demonstrated. The hand hygiene pose- Rub hands palm to palm was captured as an input image for running all the experiments. The future work will focus upon processing the video recordings of hand movements captured and applying deep-learning solutions for the classification of hand-hygiene stages.

研究の動機と目的

• 独自のアルミ製フレームを用いて、手洗い段階認識のための堅牢で再現可能なデータセットを構築すること。
• 静止画像における手洗いポーズに対して、従来のコンピュータビジョン特徴検出器（ハリス、シータマシ、SIFT）を評価すること。
• 将来的に、深層学習を用いた動画ベースのWHO推奨手洗い段階分類の基盤を確立すること。
• 複雑な手の動きの分析に適した、正確な手のポーズ抽出と特徴の局所化を可能にすること。
• 自動化された手洗い遵守状況の監視を可能にすることで、感染対策を支援すること。

提案手法

• 手の位置合わせと照明を標準化するため、校正済みのアルミ製フレームを構築した。
• 手洗いの「手のひらを合わせてこする」段階を示す静止画像のデータセットを収集した。
• ハリスコーナー検出器、シータマシコーナー検出器、SIFT特徴検出アルゴリズムを適用し、重要な手の特徴を同定した。
• 画像処理技術を用いて、入力画像内の手領域から顕著な特徴を抽出および局所化した。
• アルゴリズムの妥当性を検証するため、明確に定義された1つの手洗いポーズでの検出性能を評価した。
• 深層学習モデルを用いて動画シーケンスへの応用を拡張する基盤を築いた。

実験結果

リサーチクエスチョン

• RQ1 従来の特徴検出アルゴリズム（ハリス、シータマシ、SIFT）は、特定の手洗い段階における重要な手の特徴をどれほど効果的に同定できるか？
• RQ2 制御された物理的フレームワークは、手洗い段階認識のための信頼性があり再現可能なデータセットを生成できるか？
• RQ3 静止画像における手のポーズ分析は、動画ベース分類システムの開発をどの程度支援できるか？
• RQ4 古典的コンピュータビジョン手法は、手洗い動作の動的性質をどの程度捉えることができるか？
• RQ5 特徴検出は、WHOが推奨する手洗い段階の自動監視をどのように可能にするか？

主な発見

• アルミフレームにより、制御された条件下で一貫性があり再現可能な画像撮影が可能となり、信頼性の高いデータセット作成が可能になった。
• ハリス、シータマシ、SIFT検出器は、「手のひらを合わせてこする」手のポーズにおいて顕著な特徴を正常に同定した。
• 予備の結果から、古典的特徴検出が手洗い段階分析に実用可能であることが示された。
• 本研究は、これらのアルゴリズムを用いた静止画像解析が、将来的な動画ベースのディーブラーニング手法の強力なベースラインとして機能できることを確認した。
• データセットと手法は、WHO推奨の手洗いステップ全般の分類の基盤を提供する。
• 今後の研究では、動画シーケンスへの応用を拡張し、深層学習を活用して分類精度を向上させる予定である。