[論文レビュー] A Neuro-Symbolic Approach to Structured Event Recognition

Lago, Paula, Takeda, Shingo+5 more|arXiv (Cornell University)|Jun 18, 2020

Context-Aware Activity Recognition Systems参考文献 13被引用数 9

ひとこと要約

本論文は、調理シナリオにおける構造的イベント認識のための、新しいマルチセンサーで二段階ラベルが付与されたデータセットを紹介する。このデータセットは、マクロアクティビティ（レシピ）とマイクロアクティビティ（ステップ）を統合し、モーションキャプチャ、スマートフォン、スマートウォッチを用いる。研究では、4秒のウィンドウを用いた統計的特徴量とSVM/RFF分類器が、マイクロアクティビティ認識性能を最も高め、統計的特徴量を用いた場合のマイクロ平均F1スコアは68.5%に達した。これは、複雑なアクティビティ認識におけるデータの不均衡と周期性の欠如の課題を示している。

ABSTRACT

Complex activity recognition can benefit from understanding the steps that compose them. Current datasets, however, are annotated with one label only, hindering research in this direction. In this paper, we describe a new dataset for sensor-based activity recognition featuring macro and micro activities in a cooking scenario. Three sensing systems measured simultaneously, namely a motion capture system, tracking 25 points on the body; two smartphone accelerometers, one on the hip and the other one on the forearm; and two smartwatches one on each wrist. The dataset is labeled for both the recipes (macro activities) and the steps (micro activities). We summarize the results of a baseline classification using traditional activity recognition pipelines. The dataset is designed to be easily used to test and develop activity recognition approaches.

研究の動機と目的

• 複雑なアクティビティ認識のためのオープンで多粒度のデータセットの不足に応えるために、マクロ（レシピ）とマイクロ（ステップ）アクティビティの両方のラベルが付与された新しいデータセットを導入すること。
• 実際の調理環境における視覚的（モーションキャプチャ）およびインertリアル（スマートフォン、スマートウォッチ）センサーのデータを統合することで、構造的イベント認識の研究を可能にすること。
• 従来のアクティビティ認識パイプラインをマイクロアクティビティに適用した際の性能を評価し、データの不均衡、周期性の欠如、被験者間のばらつきといった課題を同定すること。
• 商業用ウェアラブルデバイスを用いた現実的なデータ収集を実施し、多様なセンサーモダリティを備えたベンチマークデータセットを提供すること。

提案手法

• 3つのセンサーモダリティを用いてデータ収集が行われた：オプティカルモーションキャプチャ（25個のボディポイント）、スマートフォンの加速度計（ウエストおよび前腕）、スマートウォッチ（片腕ずつ1台ずつ）。
• データセットには3つのレシピ（マクロアクティビティ）と10種類の異なるマイクロアクティビティが含まれており、両方のレベルにラベルが付与されている。
• 信号は20Hzにリサンプリングされ、1〜5秒のウィンドウサイズを用いて、50％のオーバーラップを持つスライディングウィンドウに分割された。
• 2種類の特徴抽出手法が用いられた：時間領域の統計的特徴量（平均、標準偏差、最大値、最小値、尖度、歪度、四分位範囲、微分の平均／標準偏差）と、各軸に等間隔に30点を配置した実験的累積分布関数（ECDF）特徴量。
• 3種類の分類器が評価された：線形およびRBFカーネルを用いたSVM、およびランダムフォレスト。両方の特徴量セットを用いて評価された。
• ウィンドウごとのラベル割り当ては、ウィンドウ内での活動時間の長さを優先することで、重複するアクティビティセグメントに対処した。

実験結果

リサーチクエスチョン

• RQ1 調理シナリオにおける周期的でない、不均衡なマイクロアクティビティに従来のアクティビティ認識パイプラインを適用した場合、その性能はどのように変化するか？
• RQ2 アクティビティの持続時間が著しく異なる状況において、マイクロアクティビティ認識の最適なウィンドウサイズは何か？
• RQ3 統計的特徴量とECDF特徴量の異なる特徴抽出手法が、このデータセットにおけるマイクロアクティビティ認識の正確性に与える影響は何か？
• RQ4 データの不均衡は、多段階アクティビティ認識におけるマクロ平均およびマイクロ平均F1スコアにどの程度影響を及えるか？
• RQ5 センサーモダリティおよびデータ品質（例：左スマートウォッチの欠損データ）は、認識性能およびモデルのロバストネスにどのように影響するか？

主な発見

• マイクロ平均F1スコア（68.5％）はマクロ平均F1スコア（45.2％）よりも顕著に高く、多数クラスでは優れた性能を示したが、マイノリティのマイクロアクティビティの認識は弱かった。
• 統計的特徴量は、すべての分類器およびウィンドウサイズでECDF特徴量を上回り、SVMと統計的特徴量を組み合わせた4秒ウィンドウで、最高のマイクロ平均F1スコア68.5％を達成した。
• すべての分類器において、ピーク性能は4秒ウィンドウサイズで観察されたが、マイクロアクティビティの平均持続時間が3〜4秒程度であるのに対し、これは時間分解能とアクティビティセグメンテーションのトレードオフを示唆している。
• 常に多数クラス（Take）を予測するベースラインモデルはマイクロF1スコア36％を達成しており、これは訓練済みモデルがわずかに改善に寄与していることを示しており、データの不均衡の課題を強調している。
• 同じハードウェアでも左スマートウォッチは高い欠損データ率を示しており、ウェアラブルセンサーの実装における現実のデータ品質の問題を浮き彫りにしている。
• モーションキャプチャと商業用ウェアラブルデバイスの組み合わせは、異なるデータ品質およびセンサーモダリティの組み合わせ下でのモデルのロバストネスを評価するための現実的なベンチマークを提供する。