[논문 리뷰] Neuron Structure Modeling for Generalizable Remote Physiological Measurement

Hao Lu, Zitong Yu외 2명|arXiv (Cornell University)|2023. 03. 10.

Non-Invasive Vital Sign Monitoring인용 수 4

한 줄 요약

이 논문은 rPPG를 사용한 원거리 생리 측정을 위한 도메인 레이블이 없는 방법인 NEST를 제안한다. NEST는 커버리지 최적화, 대상 정렬, 다양성 최적화를 통해 신경 구조를 모델링함으로써 일반화 능력을 향상시킨다. 명시적 도메인 레이블에 의존하지 않음에도 불구하고, 교차 데이터셋 및 내부 데이터셋 벤치마크에서 최신 기술(SOTA)을 능가하며 실제 세계의 도메인에 민감하지 않은 환경에서도 강건성을 입증한다.

ABSTRACT

Remote photoplethysmography (rPPG) technology has drawn increasing attention in recent years. It can extract Blood Volume Pulse (BVP) from facial videos, making many applications like health monitoring and emotional analysis more accessible. However, as the BVP signal is easily affected by environmental changes, existing methods struggle to generalize well for unseen domains. In this paper, we systematically address the domain shift problem in the rPPG measurement task. We show that most domain generalization methods do not work well in this problem, as domain labels are ambiguous in complicated environmental changes. In light of this, we propose a domain-label-free approach called NEuron STructure modeling (NEST). NEST improves the generalization capacity by maximizing the coverage of feature space during training, which reduces the chance for under-optimized feature activation during inference. Besides, NEST can also enrich and enhance domain invariant features across multi-domain. We create and benchmark a large-scale domain generalization protocol for the rPPG measurement task. Extensive experiments show that our approach outperforms the state-of-the-art methods on both cross-dataset and intra-dataset settings.

연구 동기 및 목표

• 환경적 변동과 레이블이 없는 도메인으로 인한 원거리 광plethysmography(rPPG)의 도메인 이동 문제를 해결한다.
• 복잡한 rPPG 환경에서 명확한 도메인 레이블이 필요한 기존 도메인 일반화 방법의 한계를 극복한다.
• 도메인 애너테이션 없이도 새로운 환경에서의 모델 일반화 능력을 향상시키는 방법을 개발한다.
• 다양한 데이터셋 간의 모델 강건성 평가를 위해 rPPG를 위한 대규모 도메인 일반화 프로토콜을 구축하고 벤치마크를 제공한다.
• 특징 공간의 커버리지 향상, 도메인 특화 특징 억제, 분류 능력 향상을 위한 특징 풍부화를 통해 분포 외 성능을 향상시킨다.

제안 방법

• 학습 중에 최적화가 부족한 신경 유닛의 활성화를 장려함으로써 특징 공간을 정규화하는 신경 구조 커버리지 최적화(NEST-CM)를 제안한다.
• 다양한 도메인 간 유사한 생리 신호를 가진 샘플의 특징을 정렬함으로써 도메인 불변 표현을 향상시키는 신경 구조 대상 정렬(NEST-TA)을 도입한다.
• 다른 샘플의 표현 간 거리를 증가시켜 분류 능력을 향상시키는 신경 구조 다양성 최적화(NEST-DM)를 개발한다.
• rPPG 신호 추정을 위해 얼굴 영상에서 추출한 공간-시간 맵(STMaps)을 입력으로 사용한다.
• NEST-CM, NEST-TA, NEST-DM 손실을 병합하여 강건성, 불변성, 다양성의 공동 최적화를 위한 모델을 훈련한다.
• 일반화 능력을 검증하기 위해 교차 데이터셋(MSDG) 및 내부 데이터셋(5-fold CV on VIPL-HR) 설정에서 방법을 적용한다.

실험 결과

연구 질문

• RQ1 환경적 및 장치적 변동으로 인해 도메인 레이블이 모호하거나 정의되지 않은 상황에서 rPPG에 대한 도메인 일반화 방법이 효과를 발휘할 수 있는가?
• RQ2 신경 구조 모델링은 분포 외 샘플에서의 비정상적 활성화를 줄이고 특징 공간 커버리지를 어떻게 향상시킬 수 있는가?
• RQ3 rPPG에서 명시적 도메인 애너테이션 없이 도메인 불변 특징을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 교차 데이터셋 및 내부 데이터셋 평가 프로토콜 모두에서 기존 SOTA 방법보다 더 잘 일반화되는가?
• RQ5 NEST-CM, NEST-TA, NEST-DM의 하이퍼파라미터는 모델 성능과 강건성에 어떤 영향을 미치는가?

주요 결과

• NEST는 다중 도메인 일반화(MSDG) 프로토콜에서 모든 SOTA 방법(DeepPhys 및 TS-CAN 포함)을 능가하는 최고의 성능을 기록했다.
• VIPL-HR 데이터셋에서 NEST는 기준 모델 대비 MAE를 0.46 감소시키고 RMSE를 0.56 감소시켜 4.76 MAE와 7.51 RMSE를 달성했다.
• VIPL-HR에서 NEST는 r값 0.84를 기록했으며, 다음으로 우수한 성능을 보인 Dual-GAN(r=0.81)을 크게 앞서는 성능을 보였다.
• 데이터셋이 명확하게 분리되지 않는 애너지틱 도메인 환경에서도 강건성을 입증하여, 레이블 없는 설계가 효과적임을 증명했다.
• 하이퍼파라미터 분석 결과, NEST-CM의 최적 성능는 ρ=0.1, NEST-TA는 σ=5, NEST-DM은 중간 값의 τ에서 달성되었으며, 균형 잡힌 정규화의 중요성을 확인했다.
• 피어슨 상관계수 분석 결과, NEST-TA가 연속적인 HR 레이블 간에 더 부드러운 표현 전이를 만들어 내어 분포 외 샘플의 예측 오차를 감소시켰다.