[論文レビュー] Simultaneously-Collected Multimodal Lying Pose Dataset: Towards In-Bed Human Pose Monitoring under Adverse Vision Conditions

Shuangjun Liu, Xiaofei Huang+4 more|arXiv (Cornell University)|Aug 20, 2020

Human Pose and Action Recognition参考文献 55被引用数 16

ひとこと要約

本論文では、RGB、長波長赤外線（LWIR）、深度（D）、圧力マップ（PM）の4つのモダリティで同時に収集された大規模かつ公開可能なベッド内人体ポーズデータセット、Simultaneously-collected Multimodal Lying Pose（SLP）データセットを紹介する。このデータセットを用いることで、最新のモデルを用いて完全な暗黒下や遮蔽下でも、最大95%のPCKh@0.5の精度を達成する頑健な2次元ポーズ推定が可能となり、マルチモーダル融合による性能向上も可能となる。

ABSTRACT

Computer vision (CV) has achieved great success in interpreting semantic meanings from images, yet CV algorithms can be brittle for tasks with adverse vision conditions and the ones suffering from data/label pair limitation. One of this tasks is in-bed human pose estimation, which has significant values in many healthcare applications. In-bed pose monitoring in natural settings could involve complete darkness or full occlusion. Furthermore, the lack of publicly available in-bed pose datasets hinders the use of many successful pose estimation algorithms for this task. In this paper, we introduce our Simultaneously-collected multimodal Lying Pose (SLP) dataset, which includes in-bed pose images from 109 participants captured using multiple imaging modalities including RGB, long wave infrared, depth, and pressure map. We also present a physical hyper parameter tuning strategy for ground truth pose label generation under extreme conditions such as lights off and being fully covered by a sheet/blanket. SLP design is compatible with the mainstream human pose datasets, therefore, the state-of-the-art 2D pose estimation models can be trained effectively with SLP data with promising performance as high as 95% at PCKh@0.5 on a single modality. The pose estimation performance can be further improved by including additional modalities through collaboration.

研究の動機と目的

• コンピュータビジョンおよび医療応用分野における、公開可能で大規模なベッド内人体ポーズデータセットの不足に対処すること。
• 完全な暗黒下やシーツや毛布による完全な遮蔽といった障害視覚条件下でも、正確な人体ポーズ推定を可能にすること。
• 極端な撮影条件下でも信頼性の高い真値ポーズラベルを生成できる物理的ハイパーパramータチューニング（PHPT）戦略を開発すること。
• 主流のポーズ推定ベンチマークと互換性を持つマルチモーダルデータセットを構築し、最新のモデルのトレーニングと評価を容易にすること。
• 今後の研究におけるマルチモーダル統合、ドメイン適応、トランスファー学習の基盤を提供すること、特にベッド内行動モニタリング分野において。

提案手法

• 109名の参加者から、RGB、長波長赤外線（LWIR）、深度（D）、圧力マップ（PM）の4つのモダリティを用いて、同時に同期されたベッド内ポーズデータを収集する。
• 被験者が完全に覆われている、または完全に暗黒下にあるような極端な状況でも、正確な真値ポーズラベルを生成できる物理的ハイパーパramータチューニング（PHPT）手法を実装する。
• SLPデータセットを、標準的な人体ポーズ推定ベンチマーク（例：COCO、MPII）と互換性を持たせるように設計し、既存の2次元ポーズモデルの直接的なトレーニングと評価を可能にする。
• 複数のモダリティを統合する新規なLWIR-D-PM可視化ツールを開発し、患者の姿勢や身体状態に関する直感的で臨床的価値の高いインサイトを提供する。
• SLPデータに対して、最新の2次元および3次元ポーズ推定モデルを、異なるモダリティ、被覆状態、環境（自宅 vs. 病院）で評価する。
• マルチモーダル統合による性能向上を評価するためのアブレーションスタディを実施し、ベッド内条件下における3次元ポーズ推定の失敗モードを分析する。

実験結果

リサーチクエスチョン

• RQ1 RGB、LWIR、深度、圧力マップの4つのモダリティで、障害視覚条件下でも同期されたデータを収集できる大規模かつマルチモーダルなベッド内ポーズデータセットを構築できるか？
• RQ2 完全な暗黒下や遮蔽状態といった極端な条件下で、SLPデータセットを用いてトレーニングされた最新の2次元人体ポーズ推定モデルは、どの程度の有効性を示すか？
• RQ3 単一モダリティベースラインと比較して、マルチモーダル統合はベッド内ポーズ推定の精度をどの程度向上させるか？
• RQ4 事前学習済みの3次元ポーズ推定モデルは、ベッド内ポーズに一般化できるか？また、そのような状況下での主な失敗モードは何か？
• RQ5 標準的な日常行動データセットとは異なり、ベッド内シナリオにおけるポーズ分布はどのように異なるのか？この差異がモデルの一般化性能に与える影響は何か？

主な発見

• SLPデータセットには、109名の参加者から収集された15,000枚以上のラベル付きベッド内ポーズ画像が含まれており、多様な照明条件や遮蔽状態下で4つの画像モダリティで収集されたものである。
• 最新の2次元ポーズ推定モデルは、SLPデータセット上で単一モダリティでトレーニングした場合、最大95%のPCKh@0.5の精度を達成しており、障害視覚条件下でも優れた性能を示している。
• 物理的ハイパーパramータチューニング（PHPT）戦略により、完全な暗黒下や完全なシーツ被覆状態のような極端な条件下でも、信頼性の高い真値ポーズラベルの生成が可能である。
• マルチモーダル統合は一貫してポーズ推定性能を向上させ、LWIR、深度、圧力マップのデータを組み合わせた際には顕著な性能向上が観察された。
• RGBまたは深度に基づく事前学習済みの3次元ポーズ推定モデルは、ベッド内ポーズにうまく一般化できず、体表面の融合や背景の混同により、安静姿勢を立っていると誤解釈したり、四肢の位置を正しく特定できなかったりする傾向がある。
• SLPデータセットは、COCO や MPII といった既存のポーズデータセットと相補的である。ベッド内ポーズは、通常の日常行動データセットには見られない特徴的な照明条件、遮蔽状態、ポーズ分布の特性を示している。