[論文レビュー] SCAMPS: Synthetics for Camera Measurement of Physiological Signals

Daniel McDuff, Miah Wander+5 more|arXiv (Cornell University)|Jun 8, 2022

Non-Invasive Vital Sign Monitoring被引用数 19

ひとこと要約

SCAMPSは、心拍および呼吸波形、顔面行動単位、頭部姿勢を高精度で同期させた2,800件の高精細なビデオシーケンスから構成される合成データセットを紹介する。この合成データのみで訓練されたモデルは、実世界のデータセットにおいて汎用的な性能を示し、カメラベース生理的センシングにおけるシミュレーションから実世界への転送の可能性を実証した。

ABSTRACT

The use of cameras and computational algorithms for noninvasive, low-cost and scalable measurement of physiological (e.g., cardiac and pulmonary) vital signs is very attractive. However, diverse data representing a range of environments, body motions, illumination conditions and physiological states is laborious, time consuming and expensive to obtain. Synthetic data have proven a valuable tool in several areas of machine learning, yet are not widely available for camera measurement of physiological states. Synthetic data offer "perfect" labels (e.g., without noise and with precise synchronization), labels that may not be possible to obtain otherwise (e.g., precise pixel level segmentation maps) and provide a high degree of control over variation and diversity in the dataset. We present SCAMPS, a dataset of synthetics containing 2,800 videos (1.68M frames) with aligned cardiac and respiratory signals and facial action intensities. The RGB frames are provided alongside segmentation maps. We provide precise descriptive statistics about the underlying waveforms, including inter-beat interval, heart rate variability, and pulse arrival time. Finally, we present baseline results training on these synthetic data and testing on real-world datasets to illustrate generalizability.

研究の動機と目的

• カメラベースの生理的信号測定のための実世界データセットにおける不足とバイアスを解消するため、多様で制御可能な合成データを生成すること。
• 実データセットの限界、すなわち高コスト、人的労力の多さ、被験者の外見、照明、運動の多様性の欠如を克服すること。
• 完全にラベル付けされ、制御可能でスケーラブルな合成データセットを提供し、ビジョンベースの生理的センシングモデルの訓練と評価を支援すること。
• 実世界データ収集の高コストおよびプライバシー懸念を軽減するため、合成データから実世界データへの一般化に関する研究を可能にすること。
• 肌色、環境、生理的パラメータの制御可能な変動を可能にすることで、公平でより強固なモデルの開発を支援すること。

提案手法

• 被験者の外見、照明、運動に制御可能な変動を加えた物理ベースのレンダリングパイプラインを用いて、2,800件の合成ビデオシーケンスを生成する。
• フレーム単位で正確に同期された生理的波形（光容積脈波計PPG、心電図ECG、呼吸、RR間隔）を合成する。
• 3次元モーファブルモデルとアニメーションレッグを用いて、顔面行動単位、瞬き、頭部姿勢を時間的に同期されたラベルとして統合する。
• 各ビデオフレームに対して高精細なRGBフレームと対応するセマンティックセグメンテーションマップをレンダリングし、密な監視を可能にする。
• パラメータ化されたモデルを用いて、肌色、照明、環境的文脈の多様性をデータセット全体で制御する。
• ベースラインモデルをSCAMPSデータのみで訓練し、実世界のベンチマーク（UBFC、MMSE-HR）での一般化性能を評価することで、シミュレーションから実世界への転送を評価する。

実験結果

リサーチクエスチョン

• RQ1 正確でノイズのない生理的アノテーションを備えた合成データは、カメラベースの生理的センシングモデルの有効な訓練を可能にするか？
• RQ2 合成データのみで訓練されたモデルは、実世界の制約のない動画データにどの程度一般化できるか？
• RQ3 合成データにおける外見、照明、生理的パラメータの制御可能な変動が、モデルの強度と公平性に与える影響はいかほどか？
• RQ4 UBFC や MMSE-HR といった実世界データセットで評価した場合、SCAMPSで訓練されたモデルの性能はどの程度か？
• RQ5 合成データは、肌色、運動、環境の多様性に関連する実世界データセットのバイアスを軽減できるか？

主な発見

• SCAMPSの合成データのみで訓練されたモデルは、UBFCデータセットで心拍数推定において平均絶対誤差（MAE）5.42 bpm、MMSE-HRデータセットで4.59 bpmを達成した。
• 心拍数推定におけるピアソン相関係数（ρ）は、UBFCで0.72、MMSE-HRで0.81に達し、真値との強い線形一致を示した。
• SCAMPSで訓練したベースラインモデルは、一部の指標において無教師学習手法を上回った。これは、合成データが強固なモデルの訓練に有効である可能性を示している。
• 結果から、合成データから実世界データへの一般化が可能であることが確認されたが、最新の無教師学習手法に比べて性能は依然として低い。
• PPG、ECG、呼吸波形、顔面行動単位といったフレーム単位の正確なアノテーションの統合により、高精細な監視がモデルの訓練に可能になった。
• 本データセットにより、肌色、照明、運動状態の多様な条件下でのモデル挙動の制御可能な評価が可能となり、公平性と強度に関する研究を支援した。