[論文レビュー] A Reproducible Study on Remote Heart Rate Measurement

Guillaume Heusch, André Anjos+1 more|arXiv (Cornell University)|Sep 4, 2017

Non-Invasive Vital Sign Monitoring参考文献 12被引用数 45

ひとこと要約

本論文では、2種類の照明条件下で記録された40名の被験者を対象とした、公開可能で再現性のあるデータベースを提示し、遠隔脈波計測（rPPG）の評価を標準化する。本研究では、LiCVPR、CHROM、2SR の3つの最先端rPPGアルゴリズムを、新規のCOHFACEデータセットおよびMahnob HCI-Taggingデータセットの両方で評価し、実世界の不一致照明条件下ではいずれのアルゴリズムの性能も信頼性が低いことが判明。唯一CHROMはパrameterチューニングにより安定した性能を示した。

ABSTRACT

This paper studies the problem of reproducible research in remote photoplethysmography (rPPG). Most of the work published in this domain is assessed on privately-owned databases, making it difficult to evaluate proposed algorithms in a standard and principled manner. As a consequence, we present a new, publicly available database containing a relatively large number of subjects recorded under two different lighting conditions. Also, three state-of-the-art rPPG algorithms from the literature were selected, implemented and released as open source free software. After a thorough, unbiased experimental evaluation in various settings, it is shown that none of the selected algorithms is precise enough to be used in a real-world scenario.

研究の動機と目的

• 遠隔脈波計測（rPPG）アルゴリズムのベンチマーク評価のための標準化され、公開可能なデータセットの不足を解消すること。
• 3つの最先端のアルゴリズムのオープンソース実装を提供することで、rPPG研究における再現性の危機を克服すること。
• 多様な照明および解像度条件におけるアルゴリズムの性能を評価し、一般化性と耐障害性を検証すること。
• 公平なrPPG手法比較を可能にする、原則的かつバイアスのない評価フレームワークを確立すること。
• 現在のrPPGアルゴリズムが、実世界の制約のない環境に確実に一般化できないことを実証すること。

提案手法

• スタジオ照明および自然光の2つの異なる照明条件下で、40名の被験者を対象とした、新たに公開可能なデータベース（COHFACE）を収集する。
• 補助的なベンチマークとして、心拍数の真値を示す同期されたECGデータを有するMahnob HCI-Taggingデータセットを活用する。
• LiCVPR、CHROM、2SR の3つの最先端rPPGアルゴリズムをオープンソースとして実装・公開し、再現性を確保する。
• 標準化された評価プロトコルを適用：スタジオ条件で学習し、自然光条件下でテストすることでドメイン不一致を評価する。
• 顔のバウンディングボックス、下顔部のマニュアルマスク、皮膚色フィルタを用いて皮膚領域を抽出し、ROIの選択による比較分析を実施する。
• 全テストシーケンスにおいて、推定心拍数と真値心拍数のピアソン相関係数を測定して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 公開可能で標準化されたデータベースは、遠隔脈波計測研究における再現性と公平な比較を改善できるか？
• RQ2 トレーニング時に観測されていない実世界の照明条件下で、最先端rPPGアルゴリズムの性能はいかがであるか？
• RQ3 照明および解像度の変動に応じて、注目領域（ROI）選択のrPPGアルゴリズム性能への影響は何か？
• RQ4 どのrPPGアルゴリズムが多様で不一致する環境条件下でも最も安定した性能を示すか？
• RQ5 パrameterチューニングによって、実世界の展開環境におけるrPPGアルゴリズムの耐障害性はどの程度向上できるか？

主な発見

• CHROMアルゴリズムは、すべての条件下で最高かつ最も安定した性能を示し、COHFACEデータベースの自然光テストセットにおいてピアソン相関係数0.30を達成した。
• 2SRアルゴリズムはROI選択に大きく依存し、マニュアルマスクを用いると相関係数0.65を達成したが、皮膚色フィルタを用いると0.09にまで低下した。
• LiCVPRアルゴリズムはすべてのROIで低性能にとどまり、マスクを用いた場合でも相関係数-0.44を示し、照明および解像度変化に対して極めて感受性が高かった。
• 不一致条件（スタジオで学習し、自然光でテスト）では性能が著しく低下し、LiCVPRの相関係数は-0.24にまで低下し、一般化能力が低いことが示された。
• いずれのアルゴリズムも、実世界の制約のない環境では一貫した高い性能を発揮できず、現在のrPPG手法は実用的展開にはまだ十分な耐障害性を有していないことが判明した。
• 本研究では、パrameterチューニングが不可欠であることが確認され、照明および解像度条件の間での一般化は、rPPG研究における依然として大きな課題であると判明した。