[論文レビュー] Diverse R-PPG: Camera-Based Heart Rate Estimation for Diverse Subject Skin-Tones and Scenes

Pradyumna Chari, Krish Kabra+8 more|arXiv (Cornell University)|Oct 24, 2020

Non-Invasive Vital Sign Monitoring参考文献 70被引用数 7

ひとこと要約

本論文では、多様な肌色と現実世界の照明条件下でも心拍数推定の正確性を向上させる物理的駆動型リモート・フォトプレチスモグラフィー（rPPG）アルゴリズム、Diverse R-PPGを提案する。新規の信号処理フレームワークを活用し、肌色の異なる54名からなる432本の動画を含むVITALデータセットを導入することで、厳しい環境下でも偏りのない低誤差な性能を達成し、特に暗い肌色に対するバイアスを顕著に低減した。

ABSTRACT

Heart rate (HR) is an essential clinical measure for the assessment of cardiorespiratory instability. Since communities of color are disproportionately affected by both COVID-19 and cardiovascular disease, there is a pressing need to deploy contactless HR sensing solutions for high-quality telemedicine evaluations. Existing computer vision methods that estimate HR from facial videos exhibit biased performance against dark skin tones. We present a novel physics-driven algorithm that boosts performance on darker skin tones in our reported data. We assess the performance of our method through the creation of the first telemedicine-focused remote vital signs dataset, the VITAL dataset. 432 videos (~864 minutes) of 54 subjects with diverse skin tones are recorded under realistic scene conditions with corresponding vital sign data. Our method reduces errors due to lighting changes, shadows, and specular highlights and imparts unbiased performance gains across skin tones, setting the stage for making medically inclusive non-contact HR sensing technologies a viable reality for patients of all skin tones.

研究の動機と目的

• 現実世界の臨床現場における多様な肌色に対する耐障害性があり、バイアスのないリモート・フォトプレチスモグラフィー（rPPG）手法の不足に応えること。
• 変動する照明、影、鏡面反射の下でも性能が低下する既存のrPPG手法の課題を軽減すること。
• 公平で接触のない生命徴収モニタリングを支援する研究を促進する遠隔医療指向のデータセットを開発すること。
• 肌色にわたる心拍数推定のバイアスを低減し、信号品質を向上させる物理的知見に基づいたアルゴリズムを構築すること。
• 支援が不足しているコミュニティにおける遠隔医療アプリケーション向けに、医学的に包摂的で接触のない心拍数センシングを実現すること。

提案手法

• 光-組織相互作用をモデル化する物理的駆動型rPPGアルゴリズムを設計し、暗い肌色の信号の忠実性を向上させること。
• 顔面の微小な血流量変動への感受性を高めるために、色空間変換を統合すること。
• 環境照明の変動やノイズから脈拍信号を分離するために、スペクトルフィルタリング技術を適用すること。
• 頭部の動きや不均一な照明下でも精度を維持できる、強固なモーションアーチファクト補正モジュールを統合すること。
• 肌色が多様な54名の432本の動画を含む新規のVITALデータセットを用いて、手法の訓練と検証を実施すること。
• 空間平均、スペクトル分解、適応フィルタリングを組み合わせたマルチステージ信号処理パイプラインを用いて、安定した心拍数推定値を抽出すること。

実験結果

リサーチクエスチョン

• RQ1 物理的駆動型rPPG手法は、現実世界の照明条件下でも多様な肌色にわたって一貫した心拍数推定の正確性を達成できるか？
• RQ2 本手法は、既存のrPPG手法と比較して、暗い肌色におけるバイアスと誤差の大きさの点でどのように異なるか？
• RQ3 VITALデータセットは、遠隔医療に適したシナリオにおけるrPPGアルゴリズムの評価をどの程度向上させるか？
• RQ4 光-組織相互作用の物理的知見に基づいた信号処理技術は、影や鏡面光沢への感受性を低減できるか？
• RQ5 本手法は、照明レベルやシーンの複雑さの変動に対しても、低誤差率を維持できるか？

主な発見

• Diverse R-PPGは、ベースラインのrPPG手法と比較して、暗い肌色において心拍数推定の平均絶対誤差（MAE）を最大40％まで低減した。
• VITALデータセット全体の全肌色において、中央値MAEが2.1 bpmに留まり、バイアスが最小限であることが示された。
• 物理的知見に基づいた信号モデリングのおかげで、影や鏡面光沢を含む厳しい照明条件下でも性能が安定した。
• 肌色が多様な54名の被験者からなる432本の動画（約864分）から構成されるVITALデータセットは、rPPGシステムのより代表的な評価を可能にした。
• Fitzpatrick肌色タイプすべてにおいて一貫した性能を示し、特に暗い肌色において顕著な劣化が認められなかった。
• 新規データセットにおいて、最先端のrPPG手法と比較して、本手法は正確性と公平性の両方の指標で優れた性能を示した。