[論文レビュー] Summarization of ICU Patient Motion from Multimodal Multiview Videos

Carlos Torres, Kenneth Rose+2 more|arXiv (Cornell University)|Jun 28, 2017

Human Pose and Action Recognition参考文献 17被引用数 4

ひとこと要約

本稿では、3台のRGB-Dカメラを用いてICU患者の動きを自律的かつ自動的に監視・要約するマルチモーダル・マルチビュー深層学習システムDECUを提案する。深層特徴と変更された隠れ部分マーカフ・マルコフモデル（HSMM）を組み合わせることで、明るく明確な状況下では85%のポーズ履歴要約精度、暗く遮蔽のある状況下では76%の精度を達成し、キーフレームベースの動き圧縮により78%の遷移分類精度を実現した。

ABSTRACT

Clinical observations indicate that during critical care at the hospitals, patients sleep positioning and motion affect recovery. Unfortunately, there is no formal medical protocol to record, quantify, and analyze patient motion. There is a small number of clinical studies, which use manual analysis of sleep poses and motion recordings to support medical benefits of patient positioning and motion monitoring. Manual processes are not scalable, are prone to human errors, and strain an already taxed healthcare workforce. This study introduces DECU (Deep Eye-CU): an autonomous mulitmodal multiview system, which addresses these issues by autonomously monitoring healthcare environments and enabling the recording and analysis of patient sleep poses and motion. DECU uses three RGB-D cameras to monitor patient motion in a medical Intensive Care Unit (ICU). The algorithms in DECU estimate pose direction at different temporal resolutions and use keyframes to efficiently represent pose transition dynamics. DECU combines deep features computed from the data with a modified version of Hidden Markov Model to more flexibly model sleep pose duration, analyze pose patterns, and summarize patient motion. Extensive experimental results are presented. The performance of DECU is evaluated in ideal (BC: Bright and Clear/occlusion-free) and natural (DO: Dark and Occluded) scenarios at two motion resolutions in a mock-up and a real ICU. The results indicate that deep features allow DECU to match the classification performance of engineered features in BC scenes and increase the accuracy by up to 8% in DO scenes. In addition, the overall pose history summarization tracing accuracy shows an average detection rate of 85% in BC and of 76% in DO scenes. The proposed keyframe estimation algorithm allows DECU to reach an average 78% transition classification accuracy.

研究の動機と目的

• ICU患者の動きと姿勢を監視・定量化するためのスケーラブルで自動化されたシステムの不足を解消すること。
• 長期間にわたり、侵襲的でない方法で、実際のICU環境における患者のポーズダイナミクスを分析可能な自律的システムの開発。
• 従来の手法が失敗するような、低照度や部分的遮蔽といった困難な条件下での動き要約精度の向上。
• 動きのパターン分析を活用した、苦痛の早期発見、褥瘡の予防、睡眠品質の評価といった臨床的応用の実現。
• ポーズ持続時間と遷移ダイナミクスの柔軟なモデリングを可能にする、深層特徴と隠れ部分マーカフ・マルコフモデルの統合。

提案手法

• DECUは、模擬的および実際のICU環境において、3台のRGB-Dカメラを用いてマルチモーダル・マルチビューの動画データを収集する。
• 畳み込みニューラルネットワークを用いて、RGBおよび深度ストリームから深層特徴を抽出し、照明変化や遮蔽に対する耐性を向上させる。
• 代表的なフレームを特定することで動きのシーケンスを圧縮するキーフレーム推定アルゴリズムを適用する。
• マルチモーダルな発生確率を組み合わせた視覚的および深度データを用いて、ポーズ持続時間と遷移ダイナミクスをモデリングする、変更された隠れ部分マーカフ・マルコフモデル（HSMM）を採用する。
• トレーニング段階で、密なオプティカルフローから導出される動きの閾値を用いて、動きの種別を明確にし、深度センサーのノイズを低減する。
• 粗い解像度（ポーズ履歴要約用）と細かい解像度（遷移検出用）の2つの時間解像度をサポートし、マルチスケール解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された特徴量と比較して、深層特徴は低照度および遮蔽のあるICU環境下で動き認識の正確性を向上させるか？
• RQ2 自律的システムは、実際のICU環境下で長期間にわたる患者のポーズシーケンスをどれほど正確に要約できるか？
• RQ3 困難な照明および遮蔽状況下で、マルチモーダル・マルチビュー融合はポーズ遷移検出の精度をどの程度向上させるか？
• RQ4 キーフレームベースの圧縮は、複雑な動きダイナミクスを臨床的意義を保持したまま効果的に表現できるか？
• RQ5 従来のHMMと比較して、変更されたHSMMモデルは患者の動き解析においてポーズ持続時間推定をどの程度改善するか？

主な発見

• DECUは、明るく明確な（BC）状況下では平均85%の検出率を、暗く遮蔽のある（DO）状況下では76%の検出率を、ポーズ履歴要約において達成した。
• DO状況下では、深層特徴がエンジニアリング特徴量と比較して最大8%の分類精度向上を示し、視認性が低い状況下でも頑健であることを実証した。
• キーフレームベースの遷移分類は平均78%の精度を達成し、センサーの制限にもかかわらず、動きダイナミクスを効果的に捉えた。
• 患者がカメラを背中向けている場合（例：カメラに対して背中を向ける）、特に単一視点設定では視覚的手がかりが減少するため、性能が低下する傾向がある。
• マルチビュー融合は、困難な照明および遮蔽状況下において、単一視点構成よりも一貫して検出精度を向上させた。
• 本システムは、照度変化、部分的遮蔽、視点変化に対して頑健であり、実際のICU環境への導入に適している。