[論文レビュー] Worker Activity Recognition in Manufacturing Line Using Near-body Electric Field

Sungho Suh, Vítor Fortes Rey+6 more|arXiv (Cornell University)|Aug 7, 2023

Digital Transformation in IndustryEngineering被引用数 3

ひとこと要約

本論文は、産業環境における作業者の活動認識を目的として、慣性測定単位（IMU）とボディキャパシタンスセンサを統合したウェアラブルセンシングプロトタイプを提案する。深層学習モデル（MC-CNNおよびDeepConvLSTM）を用いて、初期融合および後期融合戦略によるマルチモーダルセンサデータの統合により、Apple Watchのデータよりも9.38%高いマクロF1スコアを達成し、ボディキャパシタンスセンシングを含まないバージョンよりも6.35%の向上を示した。これは、産業的応用における活動認識の精度と耐障害性が向上していることを示している。

ABSTRACT

Manufacturing industries strive to improve production efficiency and product quality by deploying advanced sensing and control systems. Wearable sensors are emerging as a promising solution for achieving this goal, as they can provide continuous and unobtrusive monitoring of workers' activities in the manufacturing line. This paper presents a novel wearable sensing prototype that combines IMU and body capacitance sensing modules to recognize worker activities in the manufacturing line. To handle these multimodal sensor data, we propose and compare early, and late sensor data fusion approaches for multi-channel time-series convolutional neural networks and deep convolutional LSTM. We evaluate the proposed hardware and neural network model by collecting and annotating sensor data using the proposed sensing prototype and Apple Watches in the testbed of the manufacturing line. Experimental results demonstrate that our proposed methods achieve superior performance compared to the baseline methods, indicating the potential of the proposed approach for real-world applications in manufacturing industries. Furthermore, the proposed sensing prototype with a body capacitive sensor and feature fusion method improves by 6.35%, yielding a 9.38% higher macro F1 score than the proposed sensing prototype without a body capacitive sensor and Apple Watch data, respectively.

研究の動機と目的

• 産業環境におけるリアルタイムの作業者活動認識を実現するため、IMUとボディキャパシタンスセンシングを統合したウェアラブルセンシングプロトタイプの開発。
• 時間系列データとしてのIMUおよび容量センサからのマルチモーダルセンサ統合—特に初期融合および後期融合戦略—が、活動認識性能に与える影響の評価。
• 実際の製造環境下で、Apple Watchなどの商業的既成品デバイスと比較して、提案システムの性能を評価すること。
• 特に動的かつ複雑な人間-ロボット協働環境下で、ボディキャパシタンスセンシングが活動認識の正確性を向上させる追加的価値を解明すること。
• 正確なHARを基に、作業者の移動意図を予測することで、共有製造環境における安全かつ効率的な移動型ロボットのナビゲーションを可能にすること。

提案手法

• 提案されたウェアラブルプロトタイプは、両手首にIMUおよびボディキャパシタンスセンサを統合し、体の周辺の運動および電界変動を捉える。
• IMU（加速度計、ジャイロスコープ、磁気センサ）およびボディキャパシタンスセンサからのマルチモーダルセンサデータは、二つの深層学習アーキテクチャ—マルチチャネル畳み込みニューラルネットワーク（MC-CNN）およびDeepConvLSTM—を用いて処理される。
• 二つのセンサ統合戦略が実装されている：初期融合は、特徴抽出の前に原始的なセンサ信号を連結するもので、後期融合は各モダリティを別々に処理し、分類の前に特徴を連結するものである。
• システムは、作業者と移動型ロボットが共存するスマートファクトリー実験フィールドで収集された実世界のデータセットを用いて訓練および評価されている。活動は5つの異なるラベル付けスキームでアノテートされている。
• 性能評価には、正解率、マクロF1スコア、歩行クラスの正答率を用い、同様の条件下で収集されたApple Watchデータと比較している。
• 本研究では、カスタムセンサのサンプリングレートを25 Hz、Apple Watchを100 Hzとして、周波数の違いを考慮した公平な比較が可能である。

実験結果

リサーチクエスチョン

• RQ1 IMUとボディキャパシタンスセンシングを統合したウェアラブルセンサシステムは、従来のIMUオンリーシステムと比較して、産業環境下での作業者活動認識の正確性を向上させることができるか？
• RQ2 初期融合と後期融合戦略の両方が、IMUおよびボディキャパシタンスデータ統合に用いられた場合、活動認識性能においてどのように比較されるか？
• RQ3 IMUオンリーや商業的デバイス（例：Apple Watch）のベースラインと比較して、ボディキャパシタンスセンシングの導入が認識性能にどの程度向上効果をもたらすか？
• RQ4 25 Hzという低いサンプリングレートであるにもかかわらず、本システムはApple Watch（100 Hz）をマクロF1スコアおよび正答率の観点で上回ることができるか？
• RQ5 本システムは、共有製造環境下で安全な移動型ロボットの経路計画を支援するため、作業者の移動意図を信頼性高く予測できるか？

主な発見

• ボディキャパシタンスセンシングと特徴統合を組み合わせた本システムは、Apple Watchのデータよりも9.38%高いマクロF1スコアを達成し、サンプリングレートが低いにもかかわらず優れた性能を示した。
• 後期融合アプローチが、すべての評価指標で初期融合アプローチを上回り、分離されたモダリティの処理後に統合することで、より優れた特徴表現が得られることを示した。
• 本システムは、ボディキャパシタンスセンサを含めた場合に、それなしのプロトタイプと比較して6.35%の性能向上を達成し、このセンサが顕著な貢献をしていることを示した。
• 25 Hzのサンプリングレートであっても、本ウェアラブルシステムは、5つのアノテーションスキームすべてにおいて、Apple Watch（100 Hz）を正答率、マクロF1スコア、歩行クラス正答率の観点で上回った。
• Apple Watchのデータは、'ヌル'クラスを含むスキームでのみ性能が向上しており、これは左腕に取り付けられたiPhone miniが主にアイドル状態の区別に寄与していたことを示唆している。
• 本システムは、実際の産業環境下でも高い耐障害性と正確性を示し、スマート製造および人間-ロボット協働分野への導入可能性を裏付けた。