[논문 리뷰] Worker Activity Recognition in Manufacturing Line Using Near-body Electric Field

Sungho Suh, Vítor Fortes Rey외 6명|arXiv (Cornell University)|2023. 08. 07.

Digital Transformation in IndustryEngineering인용 수 3

한 줄 요약

이 논문은 제조 환경에서 근로자의 활동을 인식하기 위해 관성 측정 장치(IMU)와 신체 커패시턴스 센서를 융합한 웨어러블 센서 프로토타입을 제안한다. 딥러닝 모델(MC-CNN 및 DeepConvLSTM)을 사용해 초기 융합 및 후기 융합 전략으로 다중 모odal 센서 데이터를 융합함으로써, 애플 워치 데이터보다 매크로 F1 스코어가 9.38% 높고, 신체 커패시턴스 센서를 포함하지 않은 버전보다 6.35% 향상된 성능을 기록하여 산업용 인간 활동 인식에서 향상된 정확도와 강인성을 입증한다.

ABSTRACT

Manufacturing industries strive to improve production efficiency and product quality by deploying advanced sensing and control systems. Wearable sensors are emerging as a promising solution for achieving this goal, as they can provide continuous and unobtrusive monitoring of workers' activities in the manufacturing line. This paper presents a novel wearable sensing prototype that combines IMU and body capacitance sensing modules to recognize worker activities in the manufacturing line. To handle these multimodal sensor data, we propose and compare early, and late sensor data fusion approaches for multi-channel time-series convolutional neural networks and deep convolutional LSTM. We evaluate the proposed hardware and neural network model by collecting and annotating sensor data using the proposed sensing prototype and Apple Watches in the testbed of the manufacturing line. Experimental results demonstrate that our proposed methods achieve superior performance compared to the baseline methods, indicating the potential of the proposed approach for real-world applications in manufacturing industries. Furthermore, the proposed sensing prototype with a body capacitive sensor and feature fusion method improves by 6.35%, yielding a 9.38% higher macro F1 score than the proposed sensing prototype without a body capacitive sensor and Apple Watch data, respectively.

연구 동기 및 목표

• 실제 제조 환경에서 실시간으로 근로자 활동을 인식할 수 있도록 IMU와 신체 커패시턴스 센서를 융합한 웨어러블 센서 프로토타입을 개발하는 것.
• 시간 시리즈 데이터에서 IMU와 커패시티브 센서의 다중 모달 센서 융합—특히 초기 융합 및 후기 융합 전략—이 인간 활동 인식(HAR) 성능 향상에 기여하는지 평가하는 것.
• 실제 제조 환경 조건에서 애플 워치와 같은 상용 제품과의 성능 비교를 통해 제안된 시스템의 성능을 평가하는 것.
• 특히 동적인 인간-로봇 상호작용이 존재하는 복잡한 제조 환경에서, 신체 커패시턴스 센서의 통합이 활동 인식 정확도 향상에 기여하는지 조사하는 것.
• 정확한 HAR를 통해 근로자의 이동 의도를 예측하여 공유 제조 환경에서 안전하고 효율적인 이동 로봇 경로 계획을 지원하는 것.

제안 방법

• 제안된 웨어러블 프로토타입은 양손에 IMU와 신체 커패시턴스 센서를 통합하여 신체 근처의 운동 및 전기장 변화를 측정한다.
• IMU(가속도계, 자이로스코프, 자석계)와 신체 커패시턴스 센서에서 유도된 다중 모달 센서 데이터는 다중 채널 컨볼루션 신경망(MC-CNN)과 DeepConvLSTM이라는 두 가지 딥러닝 아키텍처를 통해 처리된다.
• 두 가지 센서 융합 전략을 구현한다: 초기 융합은 특징 추출 이전에 원시 센서 신호를 연결하는 방식이며, 후기 융합은 각 모달리티를 별도로 처리하고 분류 이전에 특징을 연결하는 방식이다.
• 시스템은 근로자와 이동형 로봇이 공존하는 스마트 팩토리 테스트베드에서 수집한 실제 세계 데이터셋을 기반으로 훈련 및 평가되며, 다섯 가지 다른 레이블링 체계에 따라 활동이 주석 처리된다.
• 정확도, 매크로 F1 스코어, 보행 클래스 정확도를 사용해 성능을 평가하며, 유사 조건에서 수집된 애플 워치 데이터와의 비교를 수행한다.
• 자체 센서의 샘플링 주파수는 25 Hz, 애플 워치는 100 Hz로 설정되어 있어 주파수의 차이에도 불구하고 공정한 비교가 가능하다.

실험 결과

연구 질문

• RQ1 기존의 IMU 전용 시스템에 비해 IMU와 신체 커패시턴스 센서를 융합한 웨어러블 센서 시스템이 제조 환경에서 근로자 활동 인식 정확도 향상에 기여하는가?
• RQ2 IMU와 신체 커패시턴스 데이터를 융합할 때 초기 융합과 후기 융합 전략의 성능는 어떻게 비교되는가?
• RQ3 IMU 전용 또는 상용 기기(예: 애플 워치) 기반 시스템 대비, 신체 커패시턴스 센서의 통합이 활동 인식 성능 향상에 어느 정도 기여하는가?
• RQ4 25 Hz의 낮은 샘플링 주파수를 가짐에도 불구하고, 애플 워치(100 Hz)보다 매크로 F1 스코어와 정확도에서 뛰어난 성능을 보이는가?
• RQ5 공유 제조 환경에서 이동형 로봇의 안전한 경로 계획을 지원하기 위해 근로자의 이동 의도를 신뢰성 있게 예측할 수 있는가?

주요 결과

• 신체 커패시턴스 센서와 특징 융합을 통한 제안된 시스템은 애플 워치 데이터보다 매크로 F1 스코어가 9.38% 높아, 낮은 샘플링 주파수에도 불구하고 뛰어난 성능을 입증했다.
• 모든 평가 지표에서 후기 융합 전략이 초기 융합 전략을 능가했으며, 이는 모달리티를 별도로 처리한 후 융합하는 것이 더 우수한 특징 표현을 제공한다는 것을 시사한다.
• 신체 커패시턴스 센서를 포함한 시스템은 이를 포함하지 않은 프로토타입 대비 성능이 6.35% 향상되어 센서의 기여도가 뚜렷하게 확인되었다.
• 25 Hz의 샘플링 주파수에도 불구하고, 제안된 웨어러블 시스템은 다섯 가지 레이블링 체계 전반에서 애플 워치(100 Hz)보다 정확도, 매크로 F1 스코어, 보행 클래스 정확도에서 뛰어난 성능을 기록했다.
• 애플 워치 데이터는 'Null' 클래스를 포함하는 레이블링 체계에서 성능 향상이 있었으며, 이는 왼쪽 팔에 부착된 아이폰 미니가 주로 정지 상태를 구분하는 데 기여했음을 시사한다.
• 실제 제조 환경 조건에서도 높은 정확도와 강인성을 확보하여 스마트 제조 및 인간-로봇 협업 분야에의 도입 잠재력을 입증했다.