[논문 리뷰] Computer-Vision-Enabled Worker Video Analysis for Motion Amount Quantification

Hari Iyer, Neel Macwan외 2명|arXiv (Cornell University)|2024. 05. 22.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 실시간으로 작업자의 상하지 운동을 자세 추정과 호텔링의 $T^2$ 통계량을 사용하여 정량화하는 컴퓨터 비전 프레임워크를 제안한다. 이는 작업자의 작업 위험도를 감지한다. 미세 작업에서 운동량과 $T^2$ 간 상관관계가 거대 작업보다 약 35% 높은 것으로 나타나, 미세 운동 차이에 대한 민감도가 뛰어남을 검증한다.

ABSTRACT

The performance of physical workers is significantly influenced by the extent of their motions. However, monitoring and assessing these motions remains a challenge. Recent advancements have enabled in-situ video analysis for real-time observation of worker behaviors. This paper introduces a novel framework for tracking and quantifying upper and lower limb motions, issuing alerts when critical thresholds are reached. Using joint position data from posture estimation, the framework employs Hotelling's $T^2$ statistic to quantify and monitor motion amounts. A significant positive correlation was noted between motion warnings and the overall NASA Task Load Index (TLX) workload rating ( extit{r} = 0.218, extit{p} = 0.0024). A supervised Random Forest model trained on the collected motion data was benchmarked against multiple datasets including UCF Sports Action and UCF50, and was found to effectively generalize across environments, identifying ergonomic risk patterns with accuracies up to 94\%.

연구 동기 및 목표

• 산업 현장에서 작업자의 신체 운동을 객관적으로 정량화하는 데 도전하는 것.
• 현장 영상 데이터를 이용한 비침습적 실시간 운동량 모니터링 방법을 개발하는 것.
• 반복적이거나 부자연스러운 자세를 포함한 작업에서 유발되는 작업자 위험도와 관련된 운동 패턴을 식별하는 것.
• 호텔링의 $T^2$ 통계량이 다양한 작업 유형 간 운동 변동성을 어떻게 잘 포착하는지 평가하는 것.
• 운동 임계치를 감지하여 신체적 피로나 부상 위험을 사전에 탐지함으로써 적극적인 작업자 위험 관리에 기여하는 것.

제안 방법

• 작업을 수행하는 작업자의 현장 영상에서 단일 인물 자세 추정을 활용해 3차원 관절 위치를 추출한다.
• 다변량 관절 위치 데이터에 호텔링의 $T^{2}$ 통계량을 적용하여 상하지 전체의 운동량을 정량화한다.
• 실시간으로 영상 데이터를 처리하여 운동 통계를 계산하고, 운동이 사전 정의된 임계치를 초과할 경우 경고를 발행한다.
• 운동 패턴을 비교하기 위해 거대 작업(큰 상자를 들어 올리는 작업)과 미세 작업(작은 나무 조각을 옮기는 작업)을 포함한 이중 작업 설정을 사용한다.
• 모든 3차원 공간 좌표(x, y, z)에서 관절 이동의 평균 위치, 표준편차, 범위를 분석하여 작업의 작업자 친화성 요구 수준을 평가한다.
• 영상 촬영, 자세 추정, 통계적 운동 정량화를 통합한 파이프라인을 활용해 지속적인 모니터링을 수행한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 기반 자세 추정이 실시간으로 작업자 운동량을 얼마나 정확하게 캡처하고 정량화할 수 있는가?
• RQ2 호텔링의 $T^{2}$ 통계량이 다양한 작업 유형 간 운동 변동성을 얼마나 효과적으로 표현하는가?
• RQ3 거대 작업(대규모 운동)과 미세 작업(미세하고 반복적인 운동) 간 운동 패턴은 어떻게 다를까?
• RQ4 이 프레임워크는 유해 위험 또는 신체적 피로 위험을 시사하는 임계 운동 수준을 감지할 수 있는가?
• RQ5 고변동성 작업과 저변동성 작업 간에 관절 운동량과 $T^{2}$ 통계량 간 상관관계는 어떻게 달라지는가?

주요 결과

• 미세 작업에서 관절 운동량과 호텔링의 $T^{2}$ 통계량 간 상관관계가 거대 작업보다 약 35% 더 높게 나타나, 미세 운동 차이에 대한 민감도가 뛰어나다는 것을 시사한다.
• 이 프레임워크는 영상 데이터와 자세 추정만을 사용하여 실시간으로 운동량을 정량화하는 데 성공했으며, 사전 위험 감지 기능을 가능하게 한다.
• 더 높은 변동성과 넓은 운동 범위를 보이는 작업(예: 큰 무작위 운동)은 더 높은 운동 요구 수준과 더 높은 작업자 친화성 위험 잠재력을 보였다.
• 평균 위치, 표준편차, 운동 범위와 같은 공간적 특성은 작업 유형 간에 상당한 차이를 보였으며, 이는 서로 다른 작업자 친화성 프로파일을 강조한다.
• 지표점에서 유도된 운동 궤적의 일관성은 컴퓨터 비전 기반 운동 정량화 접근법의 신뢰성을 검증한다.
• 이 시스템은 고위험 운동 패턴을 물리적 구현 이전에 식별함으로써 가상 작업 공간 시뮬레이션 및 사전 작업자 친화성 설계에 응용 가능성을 보였다.