[論文レビュー] Logistic Activity Recognition Challenge (LARa Version 01) – A Motion Capture and Inertial Measurement Dataset

Friedrich Niemann, Christopher Reining+9 more|arXiv (Cornell University)|May 31, 2020

Maritime Navigation and Safety被引用数 5

ひとこと要約

本論文は、深層ニューラルネットワークを用いた特徴抽出と、文脈を組み込んだ簡易分類器による分類を分離するハイブリッド深層学習アーキテクチャを提案する。作業工程の文脈（例：倉庫業務ワークフローにおける現在の段階）を統合することで、文脈ラベルが部分的に誤っている場合でも、HARの精度が向上し、LARaデータセットにおいて最先端のモデルを上回る性能を発揮する。

ABSTRACT

<strong>LARa </strong>is the first freely accessible logistics-dataset for human activity recognition. In the ’Innovationlab Hybrid Services in Logistics’ at TU Dortmund University, two picking and one packing scenarios with 14 subjects were recorded using OMoCap, IMUs, and an RGB camera. 758 minutes of recordings were labeled by 12 annotators in 474 person-hours. The subsequent revision was carried out by 4 revisers in 143 person-hours. All the given data have been labeled and categorised into 8 activity classes and 19 binary coarse-semantic descriptions, also called attributes. You can find the latest version of the annotation tool here: https://github.com/wilfer9008/Annotation_Tool_LARa <strong>If you use this dataset for research, please cite the following paper: “LARa: Creating a Dataset for Human Activity Recognition in Logistics Using Semantic Attributes</strong><strong>”, Sensors 2020, DOI: 10.3390/s20154083</strong>

研究の動機と目的

• 作業工程の変動が生じる構造的で手作業中心の環境（例：倉庫）における人間の行動認識（HAR）の課題に対処すること。
• プロセスステップのダイナミクスや行動の事前知識といったドメイン固有の前提知識を無視する純粋にデータ駆動型の深層学習モデルの限界を克服すること。
• 現在のプロセスステップといった文脈情報（例：BPM状態）を再トレーニングなしに統合可能なモジュラーなHARシステムを構築すること。
• 文脈情報の影響、特に不完全またはノイズの多い文脈推定値下でのHAR性能に与える影響を評価すること。

提案手法

• 生の慣性センサデータから、姿勢や手の使用状況といった高レベルの動き記述子（属性）を深層ニューラルネットワークで抽出する。
• QDA、RF、HMMなどの簡易分類器を用い、推定された属性とオプションの文脈特徴に基づいて行動クラスを予測する。
• 具体的には、現在のプロセスステップ（BPM状態）という文脈情報を分類器の入力特徴として統合し、文脈に配慮した分類を可能にする。
• 特徴抽出（深層ネットワーク）と分類（簡易モデル）を分離することで、同じ特徴抽出器を異なるドメインや文脈の可用性レベルに再利用可能にする。
• ノイズの多いプロセスステップラベルを評価するために、確率pで真の状態をランダムに破損させるシミュレーションを実施する。
• 深層ネットワークは生のセンサデータ上でエンドツーエンドでトレーニングする一方、簡易分類器は文脈入力を併せて最適化するように共同でトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 プロセスステップの文脈をHARシステムに統合することで、最先端の手法と比較して分類性能が向上するか？
• RQ2 提供されたプロセスステップ情報が不正確またはノイズを含む場合、HARシステムの性能はどの程度低下するか？
• RQ3 文脈情報が部分的に誤っている場合でも、本手法のアーキテクチャは、文脈なしのモデルと比較して性能を維持または向上させるか？
• RQ4 相互情報量の観点から、BPM状態などの文脈情報が行動分類における不確実性をどの程度低減するか？

主な発見

• 文脈情報を使用しない場合、提案手法は先行研究の最先端手法（0.621の精度、0.621のF1スコア）を上回る高いHAR精度（0.721）とF1スコア（0.715）を達成した。
• 正しいプロセスステップ文脈を提供することで、ランダムフォレスト分類器のF1スコアは0.715に上昇し、顕著な性能向上が確認された。
• 50％のノイズを含むプロセスステップラベルでも、ランダムフォレスト分類器は文脈なしのベースラインモデルを上回ったが、QDAは文脈ラベルの正確性が80％以上でなければベースラインを上回らなかった。
• 相互情報量解析により、プロセスステップ情報が分類に追加で0.89ビットの情報を提供することが示され、HARにおけるその価値が裏付けられた。
• ノイズのある文脈下でも性能の向上が維持されることから、不完全なドメイン知識に対しても本手法はロバストであることが示された。
• モジュラーな設計により、同じ深層特徴抽出器を異なるドメインや文脈の可用性レベルに再利用可能であり、柔軟な展開が可能である。