[論文レビュー] The Benefit of Distraction: Denoising Remote Vitals Measurements using Inverse Attention

Ewa M. Nowara, Daniel McDuff+1 more|arXiv (Cornell University)|Oct 14, 2020

Non-Invasive Vital Sign Monitoring参考文献 39被引用数 16

ひとこと要約

本論文は、注目メカニズムによって無視された領域からのノイズ推定に逆注目マスクを活用することで、リモート光体圧計測における新しいノイズ除去手法を提案する。これらの「注意を散らす」領域における画素強度の変動を用いて生理的信号推定値を精緻化することで、最先端の性能を達成し、信号対雑音比を最大5.8 dB向上させ、心拍数および呼吸数の誤差を最大30%低減した。

ABSTRACT

Attention is a powerful concept in computer vision. End-to-end networks that learn to focus selectively on regions of an image or video often perform strongly. However, other image regions, while not necessarily containing the signal of interest, may contain useful context. We present an approach that exploits the idea that statistics of noise may be shared between the regions that contain the signal of interest and those that do not. Our technique uses the inverse of an attention mask to generate a noise estimate that is then used to denoise temporal observations. We apply this to the task of camera-based physiological measurement. A convolutional attention network is used to learn which regions of a video contain the physiological signal and generate a preliminary estimate. A noise estimate is obtained by using the pixel intensities in the inverse regions of the learned attention mask, this in turn is used to refine the estimate of the physiological signal. We perform experiments on two large benchmark datasets and show that this approach produces state-of-the-art results, increasing the signal-to-noise ratio by up to 5.8 dB, reducing heart rate and breathing rate estimation error by as much as 30%, recovering subtle pulse waveform dynamics, and generalizing from RGB to NIR videos without retraining.

研究の動機と目的

• リモートカメラベースの生理的信号測定におけるノイズの課題に取り組み、精度と臨床的有用性を制限する要因を解消すること。
• 注目メカニズムによって無視される領域（通常は注意を散らすと見なされる）が、信号推定の向上に役立つノイズ統計を含んでいるかどうかを調査すること。
• ノイズ特性に関する事前仮定を一切行わずに、逆注目マスクを用いてノイズ推定を生成する手法を開発すること。
• 微細なダイナミクス（例：二拡張波動）を含む回復された生理的波形の忠実性を向上させることで、より良い後続臨床指標を達成すること。
• 再トレーニングなしに、近赤外（NIR）動画などの新しいモダリティへ一般化できることを実証すること。

提案手法

• 動画内の生理的信号を含む領域（例：脈動的血液体積変化を示す顔面領域）を特定するための畳み込み注目ネットワークを訓練する。
• 注目マスク値から1を引くことで逆注目マスクを生成し、信号推定に使用されない領域の空間マップを生成する。
• 逆マスク領域内の画素強度の変動からノイズ推定値を抽出する。ここでは、これらの領域が信号領域と相関するノイズを含んでいると仮定する。
• 推定されたノイズを用いて、初期の生理的信号予測値を精緻化するノイズ除去ヘッドを訓練する。これにより、信号対雑音比が向上する。
• アーキテクチャの変更なしに、動画フレームに対してエンドツーエンドでこの手法を適用し、注目とノイズ除去の共同学習を可能にする。
• 連続的としきい値処理済みの逆マスクを比較し、空間的領域（例：顔中央対フレーム端縁）の寄与を分析することで、ロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムによって無視される領域が、関心の生理的信号を汚染するノイズに関する有用な統計的情報を含んでいるか？
• RQ2 逆注目マスクを用いてノイズを推定することで、リモート光体圧計測の正確性に測定可能な向上が得られるか？
• RQ3 提案手法が、再トレーニングなしにRGB動画からNIR動画へのモダリティ変更など、異なるデータセットおよび画像モダリティへどの程度一般化できるか？
• RQ4 異なる空間的領域（例：顔付近対背景）が、さまざまな運動状態下でノイズ推定にどの程度寄与しているか？
• RQ5 標準的なリモートセンシング技術ではしばしば検出不能な、臨床的に重要な波形特徴（例：二拡張波動）を回復できるか？

主な発見

• 本手法は、ベンチマークデータセット上でベースライン手法と比較し、最大5.8 dBの信号対雑音比向上を達成した。
• 心拍数推定誤差は、最先端手法と比較して最大30%低減され、連続的逆マスクを用いた場合、平均絶対誤差（MAE）は2.10 BPMにまで低下した。
• 高い頭部運動（30 deg/sec）を示す動画では、呼吸数のMAEが4.85 BPMから2.88 BPMにまで40%低減された。
• 再トレーニングなしに近赤外（NIR）動画へ一般化が有効に機能し、MR-NIRPデータセットではHRのMAEが7.78 BPMから2.34 BPMに低下した。
• 本手法は、従来のリモートセンシング技術では通常検出不能な微細な生理的波形特徴（例：二拡張波動、拡張期ピーク）を回復できた。
• 眼鏡を装着している動画においても、本手法はHRのMAEを3.33 BPMのCANベースラインと比較し、2.17 BPMまで低減した。