[論文レビュー] Advancing Non-Contact Vital Sign Measurement using Synthetic Avatars

Daniel McDuff, Javier Hernandez+3 more|arXiv (Cornell University)|Oct 24, 2020

Non-Invasive Vital Sign Monitoring参考文献 53被引用数 16

ひとこと要約

本論文では、肌色、動き、照明の違いといった多様な条件下で、リアルな顔面血流変化を模倣する高精細な合成アバターを用いて、非接触バイタルサイン測定モデルの学習に実映像データを補完する手法を提案する。主な結果として、合成データと実データを組み合わせることで、特にドメイン間および外見差異のある状況下でモデル性能が顕著に向上し、心拍数推定誤差が低減され、肌色が薄いグループに対する耐性が向上する。

ABSTRACT

Non-contact physiological measurement has the potential to provide low-cost, non-invasive health monitoring. However, machine vision approaches are often limited by the availability and diversity of annotated video datasets resulting in poor generalization to complex real-life conditions. To address these challenges, this work proposes the use of synthetic avatars that display facial blood flow changes and allow for systematic generation of samples under a wide variety of conditions. Our results show that training on both simulated and real video data can lead to performance gains under challenging conditions. We show state-of-the-art performance on three large benchmark datasets and improved robustness to skin type and motion.

研究の動機と目的

• 非接触生理的測定のための実世界のアノテート済み映像データセットの不足と多様性の欠如に対処すること。
• 動き、動的照明、肌色が薄いグループなど、現実の厳しい条件下でのモデルの汎化性能を向上させること。
• 合成データが画像光容積脈波計測（iPPG）モデルの性能向上とバイアス低減に寄与するかどうかを検証すること。
• 多様でアイデンティティに依存しない顔映像データを、リアルな生理的信号シミュレーションとともにスケーラブルかつパラメータ化されたパイプラインで生成すること。

提案手法

• 物理ベースの光輸送モデルを用いて、人間の皮膚における光の吸収および散乱をシミュレートし、リアルな顔面血流変化を生成する。
• 肌色、顔の表情、頭部の動き（並進および回転）、照明、背景条件を制御した変化を伴う合成アバターをレンダリングする。
• 合成データと実映像データを組み合わせて、心拍数およびBVP信号推定のための深層学習モデル（例：CAN）を学習する。
• 学習プロセスでは、実データと合成データの両方を活用し、多様なテスト条件における耐性と汎化性能を向上させる。
• 静的および動的動き条件の下で、ベンチマークデータセット（AFRL、MMSE-HR、DAVIS）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 高精細な合成アバターは、iPPGモデルの学習に用いるために、リアルな顔面血流変化を効果的にシミュレートできるか？
• RQ2 合成データで学習させることで、動きや変動する照明といった現実世界の条件へのモデルの汎化性能が向上するか？
• RQ3 合成データは、iPPGモデルにおける肌色が薄いグループの性能格差を是正できるか？
• RQ4 合成データと実データを組み合わせた場合と、実データのみまたは合成データのみで学習した場合とを比較した場合、モデルの性能と耐性にどのような差が生じるか？

主な発見

• AFRLデータセットにおいて、合成データと実データを併用して学習させた場合、実データのみで学習させた場合と比較して、心拍数推定の平均絶対誤差（MAE）が20.6%低減された。
• MMSE-HRデータセットでは、合成データを用いることで、肌色が最も薄い（Fitzpatrick II）および最も濃い（VI）肌色のグループにおけるMAEが、それぞれ63.7%および74.9%低減された。
• 合成データを用いた場合、回復されたBVP信号の信号対雑音比（SNR）は1.38 dB向上し、より高品質な生理的信号抽出を示している。
• 合成データのみで学習させたモデルは、実データのみで学習させたモデルよりも性能が低かったが、両者を組み合わせることで、3つのベンチマークデータセットすべてで最先端の結果が得られた。
• 肌色ごとのMAEの標準偏差は、実データのみの学習時（3.50）から、実データと合成データの併用時（1.56）に低下し、特に肌色が薄いグループにおける性能ばらつきが減少した。