[논문 리뷰] OpenPack: A Large-scale Dataset for Recognizing Packaging Works in IoT-enabled Logistic Environments

Naoya Yoshimura, Jaime Gómez‐Morales외 1명|arXiv (Cornell University)|2022. 12. 10.

Industrial Vision Systems and Defect Detection인용 수 11

한 줄 요약

이 논문은 IoT 기반 물류 환경에서 포장 작업을 인식하기 위한 대규모 다중모달 데이터셋인 OpenPack을 소개한다. 16명의 참가자로부터 관성, 깊이, LiDAR 및 IoT 장치 읽기 데이터를 통합하여 구성된다. 제안된 LTS-Net 모델은 IoT 장치 데이터(앵커 스트림)와 센서 모odal리티를 융합하는 래퍼형 두 개의 스트림 아키텍처를 사용하며, 최신 기술 수준의 성능을 달성하여 매크로 F1 스코어 0.830를 기록한다. 이 중 IoT 데이터만으로도 정확도가 최대 0.045 F1 포인트 향상된다.

ABSTRACT

OpenPack is an open-access logistics dataset for human activity recognition, which contains human movement and package information from 16 subjects in four scenarios. Human movement information is subdivided into three types of data, acceleration, physiological, and depth-sensing. The package information includes the size and number of items included in each packaging job. In the "Humanware laboratory" at IST Osaka University, with the supervision of industrial engineers, an experiment to mimic logistic center labor was designed. 12 workers with previous packaging experience and 4 without experience performed a set of packaging tasks according to an instruction manual from a real-life logistics center. During the different scenarios, subjects were recorded while performing packing operations using Lidar, Kinect, and Realsense depth sensors while wearing 4 ATR IMU devices and 2 Empatica E4 wearable sensors. Besides sensor data, this dataset contains timestamp information collected from the hand terminal used to register product, packet, and address label codes as well as package details that can be useful to relate operations to specific packages. The 4 different scenarios include; sequential packing, worker-decided sequence changes, pre-ordered item packing, and time-sensitive stressors. Each of the subjects performed 20 packing jobs in 5 work sessions for a total of 100 packing jobs. 53+ hours of packaging operations have been labeled into 10 global operation classes and 16 sub-action classes for this dataset. Action classes are not unique to each operation but may only appear in one or two operations. You can find information on how to use this dataset at: https://open-pack.github.io/. For details on how this dataset was collected please check the following publication "OpenPack: A Large-Scale Dataset for Recognizing Packaging Works in IoT-Enabled Logistic Environments" 10.1109/PerCom59722.2024.10494448. Full Dataset In this repository, the data and label files are contained in separate files for each worker. Each worker's file contains; IMU, E4, 2d keypoint, 3d keypoint, annotation, and system-related data. Preprocessed Dataset (IMU with operation and action Labels) We have received many comments that it was difficult to combine multiple workers' IMU and annotation data. Therefore, we have created several CSV files containing the four IMU's sensor data and the operation labels in a single file. These files are now included as "imu-with-operation-action-labels.zip". Preprocessed Dataset (Kinect 2D and 3D keypoint data with operation and action Labels) We have received several requests for a preprocessed dataset containing only specific types of keypoint data with its assigned operation and action labels. Two new preprocessed files have been added for 2D and 3D keypoint data extracted from the frontal view Kinect camera. These files are: "kinect-2d-kpt-with-operation-action-labels.zip", and "kinect-3d-kpt-with-operation-action-labels.zip". Work is continuously being done to update and improve this dataset. When downloading and using this dataset please verify that the version is up to date with the latest release. The latest release [1.1.0] was uploaded on 24/04/2024. Changes LOG: v1.0.0: Add tutorial preprocessed dataset for IMU data with operation labels. v1.1.0: Update preprocessed datasets. (Include Kinect 2d and 3d keypoint data with Operation and action labels) We hosted an activity recognition competition using this dataset (OpenPack v0.3.x) awarded at a PerCom 2023 Workshop! The task was very simple: Recognize 10 work operations from the OpenPack dataset. You can refer to this website for coding materials relevant to this dataset. https://open-pack.github.io/challenge2022

연구 동기 및 목표

• 물류 및 제조 분야에서 산업 작업 활동 인식을 위한 대규모, 현실적이고 다중모달 데이터셋의 부족을 해결하기 위해.
• 기존 데이터셋의 한계, 즉 모달리티 커버리지 부족, 데이터 양 부족, IoT 장치 읽기 누락을 극복하기 위해.
• 근로자 경험 및 신체적 특성과 같은 풍부한 메타데이터를 제공함으로써 교차모달 및 다중모달 활동 인식 연구를 가능하게 하기 위해.
• 세밀하고 실제 환경의 센서 및 장치 데이터를 통해 AI 기반 작업 프로세스 최적화 도구 개발을 촉진하기 위해.

제안 방법

• OpenPack 데이터셋은 16명의 참가자로부터 관성측정장치(IMU), 깊이 영상, LiDAR 포인트 클라우드, 실시간 IoT 장치 읽기(예: 바코드 스캐너)를 포함한 다중모달 데이터 총 53.8시간을 수집한다.
• 센서 데이터와 IoT 장치 읽기를 별도의 스트림으로 처리한 후 래퍼형 구조로 융합하는 새로운 이중 스트림 신경망 아키텍처인 LTS-Net을 제안한다.
• 고신뢰도 IoT 장치 읽기(예: 스캔 이벤트)를 처리하는 앵커 스트림이 인식을 안내하여 노이즈가 많은 센서 입력에 대한 강건성을 향상시킨다.
• 조기 융합 및 후기 융합 전략을 활용하며, 이중 스트림 접근 방식이 모든 참가자에서 약 0.02 F1 스코어 향상으로 조기 융합을 능가한다.
• 시간적 시퀀스를 처리하기 위해 Conformer와 WPCP 백본을 사용하여 복잡한 포장 작업의 효과적인 시간 모델링을 가능하게 한다.
• 아블레이션 연구를 통해 IoT 데이터와 융합 전략의 영향을 평가하며, 주요 평가 지표로 매크로 및 가중 F1 스코어를 사용한다.

실험 결과

연구 질문

• RQ1 바코드 스캔과 같은 IoT 장치 읽기 데이터를 산업 환경에서 포장 작업 활동 인식 정확도에 통합할 경우 어떤 영향을 미치는가?
• RQ2 IMU, 깊이, LiDAR 및 IoT 장치와 같은 다양한 센서 모달리티가 인식 성능에 기여하는 비율은 어떻게 되는가?
• RQ3 이중 스트림 래퍼형 융합 아키텍처가 다중모달 산업 활동 인식에서 조기 융합을 능가할 수 있는가?
• RQ4 근로자 경험 수준은 인식 성능에 어떤 영향을 미치며, 모델은 다양한 숙련 수준 간에 일반화 가능한가?
• RQ5 신체적 특성, 경험 등 풍부한 메타데이터는 인식 결과의 해석 가능성과 활용도를 어느 정도 향상시키는가?

주요 결과

• 앵커 스트림으로서의 IoT 장치 읽기 포함으로 매크로 F1 스코어가 최대 0.045 포인트 향상되어 정확도 향상에 핵심적인 역할을 함을 입증한다.
• LTS-Net의 이중 스트림 융합 전략은 조기 융합 대비 약 0.02 포인트 F1 스코어 향상으로, 더 우수한 특징 상호작용을 가능하게 함을 시사한다.
• 전체 참가자 대상으로 매크로 F1 스코어 0.830를 달성하였으며, 개인 참가자 스코어는 U0110의 0.752에서 U0104의 0.847까지 변동한다.
• 초보자 수준의 참가자 U0104의 경우, 다양한 방법에서도 인식 성능이 상대적으로 안정적이었으며, 이는 느리고 예측 가능한 동작이 더 쉽게 인식 가능함을 시사한다.
• 아블레이션 연구를 통해 IoT 데이터가 가장 영향력 있는 모달리티임을 확인하였으며, 이를 제외할 경우 성능이 크게 저하됨을 확인하였다.
• 데이터셋은 9개 모달리티에서 총 20,129개의 활동 인스턴스와 52,529개의 동작 인스턴스를 포함하며, 근로자 경험 및 신체적 특성과 같은 풍부한 메타데이터를 제공한다.