[論文レビュー] OpenPack: A Large-scale Dataset for Recognizing Packaging Works in IoT-enabled Logistic Environments

Naoya Yoshimura, Jaime Gómez‐Morales+1 more|arXiv (Cornell University)|Dec 10, 2022

Industrial Vision Systems and Defect Detection被引用数 11

ひとこと要約

本稿では、16名の被験者から得られたインertial、深度、LiDAR、およびIoTデバイスの計測値を統合した、IoT対応物流環境における包装作業認識を目的とした大規模かつマルチモーダルなデータセットOpenPackを紹介する。提案されたLTS-Netモデルは、IoTデバイスデータ（アンカーストリーム）とセンサーモダリティを統合するラッパー形状の二重ストリーム融合アーキテクチャを採用し、最先端の性能を達成し、マクロF1スコア0.830を記録した。この中で、IoTデータ単体でも最大0.045のF1スコア向上が達成された。

ABSTRACT

OpenPack is an open-access logistics dataset for human activity recognition, which contains human movement and package information from 16 subjects in four scenarios. Human movement information is subdivided into three types of data, acceleration, physiological, and depth-sensing. The package information includes the size and number of items included in each packaging job. In the "Humanware laboratory" at IST Osaka University, with the supervision of industrial engineers, an experiment to mimic logistic center labor was designed. 12 workers with previous packaging experience and 4 without experience performed a set of packaging tasks according to an instruction manual from a real-life logistics center. During the different scenarios, subjects were recorded while performing packing operations using Lidar, Kinect, and Realsense depth sensors while wearing 4 ATR IMU devices and 2 Empatica E4 wearable sensors. Besides sensor data, this dataset contains timestamp information collected from the hand terminal used to register product, packet, and address label codes as well as package details that can be useful to relate operations to specific packages. The 4 different scenarios include; sequential packing, worker-decided sequence changes, pre-ordered item packing, and time-sensitive stressors. Each of the subjects performed 20 packing jobs in 5 work sessions for a total of 100 packing jobs. 53+ hours of packaging operations have been labeled into 10 global operation classes and 16 sub-action classes for this dataset. Action classes are not unique to each operation but may only appear in one or two operations. You can find information on how to use this dataset at: https://open-pack.github.io/. For details on how this dataset was collected please check the following publication "OpenPack: A Large-Scale Dataset for Recognizing Packaging Works in IoT-Enabled Logistic Environments" 10.1109/PerCom59722.2024.10494448. Full Dataset In this repository, the data and label files are contained in separate files for each worker. Each worker's file contains; IMU, E4, 2d keypoint, 3d keypoint, annotation, and system-related data. Preprocessed Dataset (IMU with operation and action Labels) We have received many comments that it was difficult to combine multiple workers' IMU and annotation data. Therefore, we have created several CSV files containing the four IMU's sensor data and the operation labels in a single file. These files are now included as "imu-with-operation-action-labels.zip". Preprocessed Dataset (Kinect 2D and 3D keypoint data with operation and action Labels) We have received several requests for a preprocessed dataset containing only specific types of keypoint data with its assigned operation and action labels. Two new preprocessed files have been added for 2D and 3D keypoint data extracted from the frontal view Kinect camera. These files are: "kinect-2d-kpt-with-operation-action-labels.zip", and "kinect-3d-kpt-with-operation-action-labels.zip". Work is continuously being done to update and improve this dataset. When downloading and using this dataset please verify that the version is up to date with the latest release. The latest release [1.1.0] was uploaded on 24/04/2024. Changes LOG: v1.0.0: Add tutorial preprocessed dataset for IMU data with operation labels. v1.1.0: Update preprocessed datasets. (Include Kinect 2d and 3d keypoint data with Operation and action labels) We hosted an activity recognition competition using this dataset (OpenPack v0.3.x) awarded at a PerCom 2023 Workshop! The task was very simple: Recognize 10 work operations from the OpenPack dataset. You can refer to this website for coding materials relevant to this dataset. https://open-pack.github.io/challenge2022

研究の動機と目的

• 物流および製造分野における産業的作業行動認識のための、大規模で現実的かつマルチモーダルなデータセットの不足に応えること。
• 既存のデータセットに見られる、モダリティカバーの不足、データ量の不十分さ、およびIoTデバイス計測の欠如といった制限を克服すること。
• 作業者の経験や身体的特徴を含む豊富なメタデータを提供することで、クロスモダリティおよびマルチモーダルな行動認識の研究を可能にすること。
• 詳細かつ現実世界のセンサーやデバイス計測データを活用して、AI駆動の作業プロセス最適化ツールの開発を促進すること。

提案手法

• OpenPackデータセットは、16名の被験者から、IMU、深度画像、LiDAR点群、およびリアルタイムのIoTデバイス計測値（例：バーコードスキャナ）を含む、合計53.8時間のマルチモーダルデータを収集した。
• センサーデータとIoTデバイス計測値を別々のストリームで処理し、ラッパー形状の構造で統合する、新規の二重ストリームニューラルネットワークアーキテクチャ、LTS-Netを提案した。
• 高信頼性のIoTデバイス計測値（例：スキャンイベント）をアンカーストリームとして処理し、認識をガイドすることで、ノイズの多いセンサ入力に対しても耐性を高めた。
• 早期統合と後期統合の戦略を採用し、二重ストリームアプローチが被験者全体でF1スコア約0.02ポイント上回り、早期統合を凌駕した。
• 時間的系列を効果的にモデル化するため、時系列処理にConformerおよびWPCPバックボーンを用いた。
• アブレーションスタディでは、IoTデータおよび統合戦略の影響を評価し、主評価指標としてF1スコア（マクロおよび重み付き）を用いた。

実験結果

リサーチクエスチョン

• RQ1 バーコードスキャンなどのIoTデバイス計測値を統合することで、産業的環境における包装作業行動認識の精度はどのように向上するか？
• RQ2 IMU、深度、LiDAR、およびIoTデバイスといった異なるセンサーモダリティの認識性能への相対的寄与度はどの程度か？
• RQ3 二重ストリームでラッパー形状の統合アーキテクチャは、マルチモーダル産業的行動認識において早期統合を上回る性能を発揮できるか？
• RQ4 作業者の経験レベルは認識性能にどのように影響するか？また、モデルはスキルレベルに跨って一般化可能か？
• RQ5 身体的特徴や経験といった豊富なメタデータは、認識結果の解釈可能性および実用性をどの程度向上させるか？

主な発見

• アンカーストリームとしてのIoTデバイス計測値の統合により、マクロF1スコアが最大0.045ポイント向上し、認識精度の向上に不可欠な役割を果たしていることが示された。
• LTS-Netにおける二重ストリーム統合戦略は、早期統合に比べてF1スコア約0.02ポイント向上し、優れた特徴相互作用を実現していることが示された。
• 全被験者にわたるマクロF1スコアは0.830を記録し、個々の被験者ではU0110が0.752からU0104が0.847の範囲で変動した。
• 初心者レベルの被験者U0104では、あらゆる手法において認識性能が比較的安定しており、遅く、より予測可能な動きは認識が容易であることが示唆された。
• アブレーションスタディにより、IoTデータが最も影響力が大きく、それが欠落すると性能が著しく低下することが確認された。
• データセットには9モダリティで合計20,129の行動インスタンスおよび52,529のアクションインスタンスが含まれており、作業者の経験や身体的特徴を含む豊富なメタデータが付与されている。