[論文レビュー] Learning Bodily and Temporal Attention in Protective Movement Behavior Detection

Chongyang Wang, Min Peng+4 more|arXiv (Cornell University)|Apr 24, 2019

Emotion and Mood Recognition参考文献 37被引用数 6

ひとこと要約

本稿では、慢性疼痛を有する個人における保護的運動行動の検出を向上させるために、エンド・トゥ・エンドのディーブラーニングモデルであるBodyAttentionNet（BANet）を提案する。運動キャプチャデータにおいて、最も情報をもたらす身体部位と時間的セグメントに焦点を当てることで、先行手法よりも顕著に少ないパラメータ数で最先端の性能を達成する。

ABSTRACT

For people with chronic pain, the assessment of protective behavior during physical functioning is essential to understand their subjective pain-related experiences (e.g., fear and anxiety toward pain and injury) and how they deal with such experiences (avoidance or reliance on specific body joints), with the ultimate goal of guiding intervention. Advances in deep learning (DL) can enable the development of such intervention. Using the EmoPain MoCap dataset, we investigate how attention-based DL architectures can be used to improve the detection of protective behavior by capturing the most informative temporal and body configurational cues characterizing specific movements and the strategies used to perform them. We propose an end-to-end deep learning architecture named BodyAttentionNet (BANet). BANet is designed to learn temporal and bodily parts that are more informative to the detection of protective behavior. The approach addresses the variety of ways people execute a movement (including healthy people) independently of the type of movement analyzed. Through extensive comparison experiments with other state-of-the-art machine learning techniques used with motion capture data, we show statistically significant improvements achieved by using these attention mechanisms. In addition, the BANet architecture requires a much lower number of parameters than the state of the art for comparable if not higher performances.

研究の動機と目的

• 慢性疼痛を有する個人における保護的運動行動の検出を、ディーブラーニングを用いて改善すること。
• 運動データの最も情報的な手がかりを特定するために、空間的（身体部位）および時間的（時間セグメント）の両方の注意をモデル化すること。
• 既存の最先端モデルよりもパラメータ数が少ない高効率な軽量アーキテクチャを構築すること。
• 回避行動や関節依存などの痛み関連行動のより解釈可能でパーソナライズされた評価を可能にすること。
• EmoPain MoCapデータセットを用いて、健常者および慢性疼痛群における多様な運動実行戦略を捉えたデータ上でモデルを評価すること。

提案手法

• BANetは、身体関節に対する空間的注意と、運動シーケンスの時間ステップに対する時間的注意の2本のアテンション機構を採用する。
• モデルは1D-CNNバックボーンを用いて3次元運動キャプチャシーケンスを処理し、空間的・時間的特徴を抽出した後にアテンションモジュールを適用する。
• 空間的アテンションは個々の身体関節に適用され、保護的行動を予測する際の重要度を重みづけする。
• 時間的アテンションは時間ステップ全体にわたって適用され、保護的戦略が現れる重要な運動フェーズを同定する。
• アテンション重みはバックプロパゲーションを用いてエンド・トゥ・エンドで学習され、ネットワークが関連する身体部位および時間間隔に焦点を当てるようになる。
• 最終的な予測は、注目された特徴に対して分類ヘッドを用いて行われ、損失は交差エントロピーを最適化することで計算される。

実験結果

リサーチクエスチョン

• RQ1 連合的な空間的および時間的アテンションは、運動キャプチャデータにおける保護的運動行動検出を向上させることができるか？
• RQ2 アテンション機構は、運動実行中に最も情報的な身体部位および時間セグメントをどのように同定するのか？
• RQ3 提案されたBANetアーキテクチャは、最先端モデルと比較してより少ないパラメータ数で優れた性能を達成するのか？
• RQ4 モデルは多様な運動タイプおよび個々の運動戦略にどの程度一般化可能なのか？
• RQ5 アテンション機構は、回避行動や関節依存などの痛み関連行動について、解釈可能なインサイトを提供できるか？

主な発見

• BANetは、EmoPain MoCapデータセットにおいて、複数の最先端機械学習モデルと比較して保護的行動検出の正確性において統計的に有意な向上を達成した。
• モデルは、既存の最先端アーキテクチャと比較して顕著に少ないパラメータ数で優れた性能を示し、高い効率性を示した。
• アテンション可視化の結果、モデルは臨床的に関連する身体部位（例：腰背部、膝）および保護的戦略に関連する重要な運動フェーズに一貫して注目していた。
• 連合アテンション機構は、空間的または時間的アテンションのみを用いたモデルを上回る性能を示し、両方の次元をモデル化することの利点を確認した。
• モデルは、特定のタスクに依存せずに、さまざまな運動タイプおよび個々の運動戦略に良好に一般化した。
• コードおよびトレーニング済みモデルは公開されており、疼痛行動分析分野における再現可能性およびさらなる研究を支援する。