[논문 리뷰] The Benefit of Distraction: Denoising Remote Vitals Measurements using Inverse Attention

Ewa M. Nowara, Daniel McDuff외 1명|arXiv (Cornell University)|2020. 10. 14.

Non-Invasive Vital Sign Monitoring참고 문헌 39인용 수 16

한 줄 요약

이 논문은 주의 메커니즘이 무시하는 영역에서 노이즈를 추정하기 위해 역주의 마스크를 활용하여 원거리 광plethysmography의 노이즈 제거 방법을 제안한다. 이러한 '지각의 방해 요소'로 간주되는 영역에서의 픽셀 강도 변동성을 이용해 생리 신호 추정을 정밀하게 보완함으로써, 상태의 기준(SOTA) 성능을 달성하며, 신호 대 노이즈 비율을 최대 5.8 dB 향상시키고 심박수 및 호흡수 오차를 최대 30% 감소시킨다.

ABSTRACT

Attention is a powerful concept in computer vision. End-to-end networks that learn to focus selectively on regions of an image or video often perform strongly. However, other image regions, while not necessarily containing the signal of interest, may contain useful context. We present an approach that exploits the idea that statistics of noise may be shared between the regions that contain the signal of interest and those that do not. Our technique uses the inverse of an attention mask to generate a noise estimate that is then used to denoise temporal observations. We apply this to the task of camera-based physiological measurement. A convolutional attention network is used to learn which regions of a video contain the physiological signal and generate a preliminary estimate. A noise estimate is obtained by using the pixel intensities in the inverse regions of the learned attention mask, this in turn is used to refine the estimate of the physiological signal. We perform experiments on two large benchmark datasets and show that this approach produces state-of-the-art results, increasing the signal-to-noise ratio by up to 5.8 dB, reducing heart rate and breathing rate estimation error by as much as 30%, recovering subtle pulse waveform dynamics, and generalizing from RGB to NIR videos without retraining.

연구 동기 및 목표

• 정확도와 임상적 유용성에 제한을 주는 원거리 카메라 기반 생리 신호 측정에서의 노이즈 문제를 해결한다.
• 일반적으로 방해 요소로 간주되는 주의 메커니즘이 무시하는 영역이 생리 신호에 오염된 노이즈의 통계적 특성에 유용한 정보를 담고 있는지 조사한다.
• 노이즈 특성에 대한 사전 가정 없이도 역주의 마스크를 활용해 노이즈 추정을 생성하는 방법을 개발한다.
• 더 나은 후속 임상 지표를 위해 미세한 동역학(예: 이중성 노치)을 포함한 회복된 생리 신호 파형의 정밀도를 향상시킨다.
• 재학습 없이도 새로운 모odal(예: 근적외선(NIR) 영상)으로의 일반화를 입증한다.

제안 방법

• 영상의 생리 신호가 포함된 영역(예: 동공 변화에 따른 혈액 부피 변화가 있는 얼굴 영역)을 식별하기 위해 컨volutional 주의 네트워크를 훈련시킨다.
• 주의 마스크 값에서 1을 빼어 역주의 마스크를 생성함으로써, 신호 추정에 사용되지 않는 영역의 공간 맵을 만든다.
• 역주의 마스크 영역 내의 픽셀 강도 변동성에서 노이즈 추정치를 추출하며, 이러한 영역이 신호 영역과 관련된 노이즈를 포함하고 있다고 가정한다.
• 추정된 노이즈를 사용해 초기 생리 신호 예측치를 정밀하게 보완하는 노이즈 제거 헤드를 훈련시킨다.
• 아키텍처 수정 없이도 영상 프레임에 대해 종단 간(end-to-end)으로 적용함으로써 주의와 노이즈 제거의 공동 학습을 가능하게 한다.
• 지속적 vs. 임계값 처리된 역주의 마스크를 비교하여 내성적 성능을 평가하고, 다양한 공간 영역(예: 얼굴 중심 vs. 프레임 가장자리)의 기여도를 분석한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 무시하는 영역이 관심 있는 생리 신호에 오염된 노이즈의 통계적 정보를 유용하게 담고 있는가?
• RQ2 역주의 마스크를 활용해 노이즈를 추정함으로써 원거리 광plethysmography의 정확도에 측정 가능한 향상이 이루어지는가?
• RQ3 제안된 방법이 재학습 없이도 RGB 영상에서 NIR 영상으로의 다양한 데이터셋 및 영상 모달 간 일반화에 얼마나 효과적인가?
• RQ4 다양한 운동 조건에서, 얼굴 근처 영역과 배경 영역 등의 다양한 공간 영역이 노이즈 추정에 어떻게 기여하는가?
• RQ5 기존 기법에서 흔히 손실되는 임상적으로 중요한 파형 특징(예: 이중성 노치)을 회복할 수 있는가?

주요 결과

• 기준 방법 대비 벤치마크 데이터셋에서 최대 5.8 dB의 신호 대 노이즈 비율 향상을 달성한다.
• 지속적 역주의 마스크를 사용할 경우 평균 절대 오차(MAE)가 2.10 BPM으로, 최고 수준의 방법 대비 심박수 추정 오차가 최대 30% 감소한다.
• 고속 머리 운동(30 deg/sec) 영상에서 호흡수 MAE는 4.85 BPM에서 2.88 BPM으로 40% 감소한다.
• 재학습 없이도 근적외선(NIR) 영상에 효과적으로 일반화되며, MR-NIRP 데이터셋에서 심박수 MAE가 7.78 BPM에서 2.34 BPM으로 감소한다.
• 기존 표준 원거리 측정 기법에서 일반적으로 탐지되지 않는 미세한 생리 파형 특징(예: 이중성 노치, 이완기 피크)을 회복한다.
• 안경 착용 영상에서 특히 성능 향상이 두드러지며, 이 경우 심박수 MAE는 CAN 기준 3.33 BPM에서 2.17 BPM으로 감소한다.