[논문 리뷰] Real-Time Posture Monitoring and Risk Assessment for Manual Lifting Tasks Using MediaPipe and LSTM

Ereena Bagga, Ang Yang|arXiv (Cornell University)|2024. 08. 23.

Ergonomics and Musculoskeletal DisordersPsychology인용 수 3

한 줄 요약

이 논문은 매체파이프(MediaPipe)를 활용한 자세 추정과 순차적 자세 분석을 위한 LSTM 기반 모델을 사용하여 실시간 수동 운반 자세 모니터링 및 위험 평가 시스템을 제안한다. 이 시스템은 운반 자세를 분류하는 데 93.75%의 정확도를 달성하며, 웹 인터페이스를 통해 즉각적인 피드백을 제공하여 기존 방법에 비해 정확도와 실시간 반응성에서 뚜렷한 우수성을 보인다.

ABSTRACT

This research focuses on developing a real-time posture monitoring and risk assessment system for manual lifting tasks using advanced AI and computer vision technologies. Musculoskeletal disorders (MSDs) are a significant concern for workers involved in manual lifting, and traditional methods for posture correction are often inadequate due to delayed feedback and lack of personalized assessment. Our proposed solution integrates AI-driven posture detection, detailed keypoint analysis, risk level determination, and real-time feedback delivered through a user-friendly web interface. The system aims to improve posture, reduce the risk of MSDs, and enhance user engagement. The research involves comprehensive data collection, model training, and iterative development to ensure high accuracy and user satisfaction. The solution's effectiveness is evaluated against existing methodologies, demonstrating significant improvements in real-time feedback and risk assessment. This study contributes to the field by offering a novel approach to posture correction that addresses existing gaps and provides practical, immediate benefits to users.

연구 동기 및 목표

• 기존 수동 운반 작업의 자세 교정 방법에서 지연되고 개인화되지 않은 피드백의 한계를 해결하기 위해.
• 틀린 운반 자세를 실시간으로 감지함으로써 직업성 근골격계 장애(WMSDs)의 위험을 줄이기 위해.
• 컴퓨터 비전, 시계열 모델링 및 실시간 피드백을 통합하여 실생활 직장 환경에서의 실용적 적용을 위한 시스템을 개발하기 위해.
• 직관적인 웹 기반 인터페이스를 통해 사용자 참여도와 안전한 운반 습관 준수율을 향상시키기 위해.
• 기존 모델과의 비교를 통해 시스템의 성능을 평가하여 뛰어난 정확도와 일반화 능력을 입증하기 위해.

제안 방법

• 웹캠 영상 스트림에서 실시간으로 33개의 핵심 지점 랜드마크를 감지하기 위해 MediaPipe Pose를 활용하여 2차원 및 3차원 신체 자세 데이터를 제공한다.
• 시간적 순서의 자세 랜드마크를 모델링하기 위해 맞춤형 장기 기억 단기 기억(LSTM) 네트워크를 활용하여 위험한 운반 패턴을 탐지한다.
• 다양한 각도와 거리에서의 영상 데이터를 처리하여 실제 환경 조건에서의 모델의 강건성과 일반화 능력을 향상시킨다.
• 랜드마크 구성에서 유도된 생체역학 기준에 기반하여 자세를 저위험, 중위험, 고위험으로 분류하는 위험 분석 프레임워크를 적용한다.
• 정확하고 잘못된 운반 기술을 묘사하는 다양한 영상 데이터를 반복적으로 수집하여 LSTM 모델을 훈련시킨다.
• 사용자가 운반 작업 중에 실시간으로 시각적 및 텍스트 기반 피드백을 받을 수 있도록 반응형 웹 인터페이스를 통해 시스템을 구현한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모델은 실시간으로 순차적 랜드마크 데이터로부터 위험한 수동 운반 자세를 효과적으로 분류할 수 있는가?
• RQ2 YOLOv7와 LSTM, LSTM 포즈 머신과 같은 기존 방법과 비교해 본다면, 제안된 시스템은 정확도와 반응성에서 어떤가?
• RQ3 실시간 피드백은 운반 작업 중 사용자의 자세 교정과 참여도에 얼마나 기여하는가?
• RQ4 데이터셋의 다양성과 반복적인 데이터 수집은 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 매체파이프와 LSTM을 활용한 경량 웹 기반 시스템은 직장 환경에서 근골격계 장애 예방을 위한 실용적이고 확장 가능한 솔루션을 제공할 수 있는가?

주요 결과

• 제안된 LSTM 기반 모델은 분류 정확도 0.9565와 총 정확도 0.9375를 달성하여 YOLOv7와 LSTM(0.8615 및 0.8536)과 LSTM 포즈 머신(0.8348 및 0.8085)을 능가했다.
• 단순화된 아키텍처와 순차적 자세 역학에 중점을 두어 모델의 일반화 능력과 실시간 반응성에서 뛰어난 성능을 보였다.
• 위험 분석 프레임워크의 통합으로 자세를 저위험, 중위험, 고위험 수준으로 동적으로 분류할 수 있었으며, 실용성 향상에 기여했다.
• 다양한 각도와 거리에서 수집한 영상 데이터의 활용은 모델의 강건성과 실제 환경 조건에 대한 적응 능력을 크게 향상시켰다.
• 웹 기반 인터페이스는 낮은 지연 시간의 피드백을 제공하여 사용자 참여도를 높이고 안전한 운반 기술 준수를 촉진했다.
• 비교 평가 결과, 제안된 모델이 기존 솔루션 대비 정확도, 효율성, 실시간 성능의 균형을 더 잘 확보하고 있음을 확인했다.