[論文レビュー] The SPHERE Challenge: Activity Recognition with Multimodal Sensor Data

Niall Twomey, Tom Diethe+9 more|arXiv (Cornell University)|Mar 2, 2016

Context-Aware Activity Recognition Systems被引用数 4

ひとこと要約

本論文は、住宅用スマートホーム環境における加速度計、RGB-D動画、環境センサーのデータを用いたマルチモーダル行動認識コンペティション「SPHERE Challenge」を提示する。モデルは20種類の姿勢・歩行・遷移行動を予測するために重み付きブライアースコアで評価され、上位成績を収めた参加者には賞金が授与され、ECML-PKDDワークショップで発表が義務付けられる。

ABSTRACT

This paper outlines the Sensor Platform for HEalthcare in Residential Environment (SPHERE) project and details the SPHERE challenge that will take place in conjunction with European Conference on Machine Learning and Principles and Practice of Knowledge Discovery (ECML-PKDD) between March and July 2016. The SPHERE challenge is an activity recognition competition where predictions are made from video, accelerometer and environmental sensors. Monetary prizes will be awarded to the top three entrants, with Euro 1,000 being awarded to the winner, Euro 600 being awarded to the first runner up, and Euro 400 being awarded to the second runner up.

研究の動機と目的

• 実際の住宅環境における保健ケアモニタリングを目的とした、耐障害性の高いマルチモーダル行動認識システムの開発。
• 統合されたセンサー情報から20種類の異なる姿勢・歩行・遷移行動を予測する機械学習モデルの評価。
• 慢性疾患や移動機能の低下の臨床的モニタリングを目的とした、長期的な行動パターン分析の実現。
• 研究用に標準化されたベンチマークデータセットの提供。加速度計、深度動画、PIRセンサーの同期データを含む。
• 報奨金付きのコンペティションを通じたセンサーフュージョンおよび時系列モデリング分野におけるイノベーションの促進。

提案手法

• 本コンペティションは、1棟のスマートホーム環境で収集されたマルチモーダルデータセットを用いる。20種類のラベル付き行動クラスを含む。
• 加速度計データは20 Hzで提供され、3次元加速度の生データ形式であり、4つのアクセスポイントからの信号強度（RSSI）も併記される。
• 動画データは、検出された人物の2次元および3次元ボクシングボックス特徴量に事前に処理され、個人のプライバシー保護のため生動画は公開されない。
• 受動赤外線（PIR）センサーは、タイムスタンプおよびセンサーの位置情報を含む生のアクティビティイベントを提供する。
• データセットは2段階に分けられる：スクリプトされた行動（3月〜4月）、および自然的行動＋スクリプトされた行動（4月〜7月）。
• 性能評価には、クラス不均衡と確率的予測を考慮した重み付きブライアースコアが用いられる。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルセンサー統合は、住宅用スマートホーム環境におけるリアルタイム行動認識の精度をどの程度向上できるか？
• RQ2 加速度計、深度動画、環境センサーのデータの各々が、行動認識性能に果たす相対的寄与度は何か？
• RQ3 モデルは、スクリプトされた行動から自然的行動へと一般化できるか？実世界の設定において。
• RQ4 確率的モデルは、不均衡な行動クラスにおいて、どの程度予測の信頼性を向上させられるか？
• RQ5 姿勢・歩行・遷移行動を区別する人間の移動行動における、主な時空間的パターンは何か？

主な発見

• SPHERE Challengeは、住宅用スマートホーム環境から得られた同期マルチモーダルセンサー情報を持つ大規模で現実世界に即したデータセットを提供した。
• データセットには20種類の明確な行動ラベルが含まれており、歩行（a_）、静的姿勢（p_）、遷移（t_）に分類され、詳細な行動分析が可能である。
• 生動画は公開されず、参加者のプライバシー保護のため、3次元重心およびボクシングボックス特徴量が抽出された。
• コンペティションは2段階の評価プロトコルを採用した：まずスクリプトされた行動、次に拡張された自然的行動データ。実世界への展開を反映している。
• 性能評価には重み付きブライアースコアが用いられ、単なる正答率よりも、信頼性の高い確率的予測を重視した。
• 優勝チームには1位が1,000ユーロ、2位が600ユーロ、3位が400ユーロの賞金が授与され、関連するECML-PKDDワークショップへの参加が義務付けられた。