[論文レビュー] Seeing Under the Cover: A Physics Guided Learning Approach for In-Bed Pose Estimation

Shuangjun Liu, Sarah Ostadabbas|arXiv (Cornell University)|Jul 3, 2019

Human Pose and Action Recognition参考文献 13被引用数 4

ひとこと要約

本稿では、完全な暗闇と完全な被覆下でのベッド内人体ポーズ推定を目的として、物理的制約を組み込んだ長波長赤外線（LWIR）画像化手法である熱拡散を用いた被覆下画像法（UCITD）を提案する。熱拡散の物理法則を活用し、真値ラベル付けのための物理的ハイパーパrameterを導入することで、著者らはSLPデータセットを構築し、深層学習モデルを訓練した。その結果、居住空間と病院環境でそれぞれ98.0%および96.0%のPCK0.2精度を達成し、コスト、サイズ、精度の面で圧倒的に優れた圧力マッピング（PM）システムを上回った。

ABSTRACT

Human in-bed pose estimation has huge practical values in medical and healthcare applications yet still mainly relies on expensive pressure mapping (PM) solutions. In this paper, we introduce our novel physics inspired vision-based approach that addresses the challenging issues associated with the in-bed pose estimation problem including monitoring a fully covered person in complete darkness. We reformulated this problem using our proposed Under the Cover Imaging via Thermal Diffusion (UCITD) method to capture the high resolution pose information of the body even when it is fully covered by using a long wavelength IR technique. We proposed a physical hyperparameter concept through which we achieved high quality groundtruth pose labels in different modalities. A fully annotated in-bed pose dataset called Simultaneously-collected multimodal Lying Pose (SLP) is also formed/released with the same order of magnitude as most existing large-scale human pose datasets to support complex models' training and evaluation. A network trained from scratch on it and tested on two diverse settings, one in a living room and the other in a hospital room showed pose estimation performance of 99.5% and 95.7% in PCK0.2 standard, respectively. Moreover, in a multi-factor comparison with a state-of-the art in-bed pose monitoring solution based on PM, our solution showed significant superiority in all practical aspects by being 60 times cheaper, 300 times smaller, while having higher pose recognition granularity and accuracy.

研究の動機と目的

• 完全な暗闇および完全な被覆下におけるベッド内ポーズ推定の課題に取り組むこと。この状況では、従来のRGBおよび深度ベースの手法は機能しない。
• 高価な圧力マッピング（PM）システムに代わる低コスト、非接触、プライバシー保護型の代替手法を開発すること。
• 多様な被覆状態下で、LWIRおよびRGBのマルチモーダルデータを収集した大規模かつ完全にアノテーションが付与されたベッド内ポーズデータセット（SLP）を構築すること。
• 人体の熱と表面温度分布の物理的関係をモデル化することで、熱画像を用いた高精度なポーズ推定を可能にすること。
• 実世界の展開状況において、最先端のPMベースのソリューションと比較して、優れた性能とコスト効率を示すことを実証すること。

提案手法

• 人体が毛布に覆われた状態で発生する熱拡散パターンを捉えるために、長波長赤外線（LWIR）画像を用いた物理的インスピレーションを受ける画像化モデルUCITDを提案する。
• 身体ポーズと熱シグネイチャの関連を明確にするために、身体ポーズを真値ラベル付けに結びつける物理的ハイパーパrameterの概念を導入する。
• 14名の被験者、5種類の被覆素材、2つの環境下で、同期されたLWIRおよびRGBデータを収集し、そのデータセットを公開する。このデータセットは「同時に収集されたマルチモーダルな横臥ポーズ（SLP）データセット」として命名された。
• 外部データセットでの事前学習を一切行わず、SLP-LWIRデータからスティックドアズ・ネットワークを再訓練することで、高いポーズ推定性能を達成した。
• ドメイン適応のためのトランスファー学習を実装し、異なるベッド、被覆、被験者を有する病院環境でモデルを微調整することで、実世界での耐障害性を評価した。
• ポーズ推定精度の評価にはPCK0.2指標を用い、RGBおよびPMベースのベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 人体が完全に被覆され、完全な暗闇下にあっても、長波長赤外線画像における熱拡散パターンを用いて詳細なベッド内ポーズを推定することは可能か？
• RQ2 熱伝導の物理的原則を活用することで、ベッド内ポーズ推定に適した正確なマルチモーダル真値ポーズラベルを生成できるか？
• RQ3 本稿で提示された新しい大規模なベッド内ポーズデータセットで学習した深層学習モデルは、ドメインシフトを伴う実世界の展開状況において、どの程度一般化可能か？
• RQ4 提案手法である物理的制約付き熱画像法は、圧力マッピングシステムと比較して、精度、コスト、サイズ、実用性の面で優れているか？
• RQ5 ビジョンベースで接触のないシステムは、既存のPMベースのソリューションと比較して、より高いポーズ認識の粒度と低いコストを達成できるか？

主な発見

• 提案手法UCITDは、居住空間環境で98.0%、病院環境で96.0%のPCK0.2精度を達成し、環境間での強力な一般化能力を示した。
• 14名の被験者と5種類の被覆素材を含むSLPデータセットは、公開されており、大規模な人間ポーズデータセットと同等の規模である。
• SLP-LWIRデータで学習したモデルは、病院環境で事前学習済みのRGBモデルを上回った。これは、本手法のデータとアプローチの有効性を示している。
• UCITDシステムは、最先端の圧力マッピングシステムと比較して、60倍の低コスト、300倍の小型化を達成し、ポーズ認識の粒度も14関節（PMシステムの8関節）を上回った。
• 本手法は、識別不能な熱画像を用いるため、プライバシー保護型であり、放射線も不要で、身体的接触やセンサーも不要である。
• 本研究では、物理的制約である熱拡散のモデル化を適切に行えば、完全な暗闇下でもポーズ推定が可能であることを実証した。