[論文レビュー] Real-Time Posture Monitoring and Risk Assessment for Manual Lifting Tasks Using MediaPipe and LSTM

Ereena Bagga, Ang Yang|arXiv (Cornell University)|Aug 23, 2024

Ergonomics and Musculoskeletal DisordersPsychology被引用数 3

ひとこと要約

本稿では、ポーズ推定にMediaPipeを、時系列ポーズ分析にLSTMベースのモデルを用いた、手作業での物の持ち上げ作業のためのリアルタイムのポージングモニタリングおよびリスク評価システムを提案する。このシステムは、持ち上げポーズの分類において93.75%の正確性を達成し、ウェブインターフェースを通じて即時のフィードバックを提供する。従来の手法に比べ、正確性とリアルタイム応答性の両面で顕著に優れている。

ABSTRACT

This research focuses on developing a real-time posture monitoring and risk assessment system for manual lifting tasks using advanced AI and computer vision technologies. Musculoskeletal disorders (MSDs) are a significant concern for workers involved in manual lifting, and traditional methods for posture correction are often inadequate due to delayed feedback and lack of personalized assessment. Our proposed solution integrates AI-driven posture detection, detailed keypoint analysis, risk level determination, and real-time feedback delivered through a user-friendly web interface. The system aims to improve posture, reduce the risk of MSDs, and enhance user engagement. The research involves comprehensive data collection, model training, and iterative development to ensure high accuracy and user satisfaction. The solution's effectiveness is evaluated against existing methodologies, demonstrating significant improvements in real-time feedback and risk assessment. This study contributes to the field by offering a novel approach to posture correction that addresses existing gaps and provides practical, immediate benefits to users.

研究の動機と目的

• 手作業での物の持ち上げ作業における、従来のポーズ矯正手法の遅延および非パーソナライズドなフィードバックの限界を解消すること。
• 不適切な持ち上げポーズのリアルタイム検出により、作業関連性筋骨格系障害（WMSDs）のリスクを低減すること。
• コンピュータビジョン、時系列モデリング、リアルタイムフィードバックを統合した実用的で職場に適したシステムの開発。
• 直感的なウェブベースのインターフェースを通じて、ユーザーの関与度と安全な持ち上げ習慣への順守を向上させること。
• 既存のモデルと比較して、本システムの性能を評価し、優れた正確性と汎用性を示すこと。

提案手法

• ウェブカメラの動画ストリームからリアルタイムに33個のキーポイント特徴点を検出するMediaPipe Poseを用い、2次元および3次元の身体ポーズデータを提供する。
• 時系列のポーズ特徴点のシーケンスをモデリングするため、カスタムLSTMネットワークを採用し、危険な持ち上げパターンの検出を実現する。
• 複数の角度と距離からの動画データを処理することで、多様な現実世界の状況においてもモデルの頑健性と汎用性を向上させる。
• キーポイント配置に基づいて得られる生物学的力学的基準に則ったリスク分析フレームワークを適用し、ポーズを低リスク・中リスク・高リスクの3段階に分類する。
• 正しいおよび誤った持ち上げ技術を描写する動画から構成される多様で段階的な収集データセットを用いて、LSTMモデルを学習する。
• リアルタイムの視覚的およびテキストベースのフィードバックをユーザーが持ち上げ作業中に受信できる、応答性の高いウェブインターフェースをデプロイする。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのモデルは、時系列のキーポイントデータからリアルタイムに危険な手作業の持ち上げポーズを効果的に分類できるか？
• RQ2 YOLOv7にLSTMを組み合わせた手法やLSTMポーズマシンと比較して、提案されたシステムの正確性と応答性はどの程度優れているか？
• RQ3 リアルタイムのフィードバックは、持ち上げ作業におけるユーザーのポーズ矯正と関与度をどの程度向上させるか？
• RQ4 データセットの多様性および段階的なデータ収集は、モデルの汎用性と性能にどの程度影響を与えるか？
• RQ5 MediaPipeとLSTMを用いた軽量でウェブベースのシステムは、職場環境におけるWMSD予防のための実用的でスケーラブルなソリューションを提供できるか？

主な発見

• 提案されたLSTMベースのモデルは、カテゴリー別正確性0.9565および総合正確性0.9375を達成し、YOLOv7にLSTMを組み合わせたモデル（0.8615および0.8536）やLSTMポーズマシン（0.8348および0.8085）を上回った。
• 洗練されたアーキテクチャと時系列ポーズダイナミクスに焦点を当てたことから、本システムは優れた汎用性とリアルタイム応答性を示した。
• リスク分析フレームワークの統合により、ポーズを低・中・高リスクに動的に分類可能となり、実用的利便性が向上した。
• さまざまな角度と距離から収集した多様な動画データの使用により、モデルの頑健性と現実世界の状況への適応性が顕著に向上した。
• ウェブベースのインターフェースにより、低遅延のフィードバックが提供され、ユーザーの関与度が向上し、安全な持ち上げ技術の順守が促進された。
• 比較評価により、本モデルが、正確性・効率性・リアルタイム性能のバランスにおいて、既存のソリューションを凌駆する優れた性能を示したことが確認された。