[論文レビュー] Overcoming Difficulty in Obtaining Dark-skinned Subjects for Remote-PPG by Synthetic Augmentation

Yunhao Ba, Zhen Wang+3 more|arXiv (Cornell University)|Jun 10, 2021

Non-Invasive Vital Sign Monitoring参考文献 39被引用数 5

ひとこと要約

本稿では、rPPGデータセットにおける暗い肌色の被験者の不足を解消するため、明るい肌色の顔映像を暗い肌色に変換しながら脈動的な生理的信号を保持する合成データ拡張手法を提案する。共同最適化フレームワークにより、暗い肌色の被験者における平均絶対誤差が31%低減され、実データのみを用いた学習と比較してバイアス低減効果が46%向上した。

ABSTRACT

Camera-based remote photoplethysmography (rPPG) provides a non-contact way to measure physiological signals (e.g., heart rate) using facial videos. Recent deep learning architectures have improved the accuracy of such physiological measurement significantly, yet they are restricted by the diversity of the annotated videos. The existing datasets MMSE-HR, AFRL, and UBFC-RPPG contain roughly 10%, 0%, and 5% of dark-skinned subjects respectively. The unbalanced training sets result in a poor generalization capability to unseen subjects and lead to unwanted bias toward different demographic groups. In Western academia, it is regrettably difficult in a university setting to collect data on these dark-skinned subjects. Here we show a first attempt to overcome the lack of dark-skinned subjects by synthetic augmentation. A joint optimization framework is utilized to translate real videos from light-skinned subjects to dark skin tones while retaining their pulsatile signals. In the experiment, our method exhibits around 31% reduction in mean absolute error for the dark-skinned group and 46% improvement on bias mitigation for all the groups, as compared with the previous work trained with just real samples.

研究の動機と目的

• rPPGデータセットにおける暗い肌色の被験者の低頻度な登録が、モデルの汎化性能を制限し、人種的バイアスを生じさせることに対処する。
• 大学研究環境において、暗い肌色の人々からの実世界データ収集における実務的課題を克服する。
• rPPGモデルの学習に適した、暗い肌色の顔映像をリアルに再現し、正確な生理的脈動信号を保持する手法を開発する。
• 特に代表が不足している集団を含め、多様な人種的背景のグループにわたるrPPGモデルの公平性と性能を向上させる。

提案手法

• 実際の明るい肌色の被験者からの顔映像を、脈動的血液体積脈波（BVP）信号を保持したまま暗い肌色に変換するための共同最適化フレームワークを用いる。
• 物理ベースの照明モデルを用いて皮膚反射率をモデル化し、静的および動的成分（脈動信号p(t)を含む）に分離する。
• 映像強度をC_k(t) = I_0(1 + i(t)) · (u_c·c_0 + u_s·s(t) + u_p·p(t)) + v_n(t)として定式化し、変換中に生理的信号が保持されることを保証する。
• 視覚的リアリズムと信号忠実度の両方を強制する損失関数を用いて、GANベースの生成器を訓練し、実際の暗い肌色の外観にマッピングする。
• 顔検出にMTCNNを適用し、顔領域を80×80解像度にクロップする。バッチ正則化とコサインアニーリングを用いたAdam最適化を実施する。
• トレーニングおよび評価にVITALおよびUBFC-RPPGデータセットを用い、パルスオキシメータおよびECGモニタからの真値PPG信号を用いる。

実験結果

リサーチクエスチョン

• RQ1 実データが不足する状況において、合成データ拡張が暗い肌色の被験者に対するrPPG性能を効果的に改善できるか？
• RQ2 肌色変換中に脈動的信号を保持することで、標準的な画像変換と比較して生理的信号推定精度が向上するか？
• RQ3 実データのみを用いた学習と比較して、提案手法がrPPGモデルにおける人種的バイアスをどの程度低減できるか？
• RQ4 共同最適化フレームワークは、ドメイン変換中に視覚的リアリズムと生理的信号正確性の両方を維持できるか？

主な発見

• 提案手法は、実データのみで学習したモデルと比較して、暗い肌色の被験者における平均絶対誤差（MAE）を約31%低減した。
• 全人種的グループにわたるバイアス低減効果が46%向上し、性能の公平性が強化されたことを示した。
• 本手法で生成された合成映像は、実映像と類似したリアルな画素強度変動を示し、ベースラインの肌色変換手法と比較して脈動的信号の保持が優れていた。
• 共同最適化フレームワークにより、肌色変換と脈動的信号保持が明確に分離され、合成データにおける正確な生理的信号推定が可能になった。
• UBFC-RPPGおよびVITALデータセットの両方において、MAE、RMSE、PCC、SNRの観点から、POS、CHROM、ICA、3D-CNNモデルといった従来のrPPGアルゴリズムを上回った。
• 本手法により、代表が不足しているグループからの実世界データ収集を要件とせず、多様でリアルなrPPGトレーニングデータの作成が可能になった。