[논문 리뷰] BigSmall: Efficient Multi-Task Learning for Disparate Spatial and Temporal Physiological Measurements

Girish Narayanswamy, Yujia Liu외 5명|arXiv (Cornell University)|2023. 03. 21.

Optical Imaging and Spectroscopy TechniquesMedicine인용 수 3

한 줄 요약

BigSmall는 영상에서 얼굴 운동, 심장 활동, 호흡을 동시에 측정하기 위한 통합적이고 효율적인 다중 작업 딥러닝 아키텍처를 제안한다. 고해상도 'Big' 브랜치는 공간적 세부 정보를, 저해상도 'Small' 브랜치는 Wrapping Temporal Shift Modules (WTSM)를 통해 시간적 동역학을 처리함으로써, 작업별 최적화 모델 대비 60% 이상의 계산 효율성 향상을 달성하면서도 최신 기술 수준의 정확도를 확보한다.

ABSTRACT

Understanding of human visual perception has historically inspired the design of computer vision architectures. As an example, perception occurs at different scales both spatially and temporally, suggesting that the extraction of salient visual information may be made more effective by paying attention to specific features at varying scales. Visual changes in the body due to physiological processes also occur at different scales and with modality-specific characteristic properties. Inspired by this, we present BigSmall, an efficient architecture for physiological and behavioral measurement. We present the first joint camera-based facial action, cardiac, and pulmonary measurement model. We propose a multi-branch network with wrapping temporal shift modules that yields both accuracy and efficiency gains. We observe that fusing low-level features leads to suboptimal performance, but that fusing high level features enables efficiency gains with negligible loss in accuracy. Experimental results demonstrate that BigSmall significantly reduces the computational costs. Furthermore, compared to existing task-specific models, BigSmall achieves comparable or better results on multiple physiological measurement tasks simultaneously with a unified model.

연구 동기 및 목표

• 영상 입력만을 사용하여 서로 다른 생리적 신호인 얼굴 운동, 심장 활동, 호흡을 동시에 예측할 수 있는 통합된 딥러닝 모델을 개발하는 것.
• 다른 공간적 및 시간적 스케일을 가진 생리적 신호 간의 상이함으로 인해 효율적인 다중 작업 학습이 어렵다는 문제를 해결하는 것.
• 작업 최적화 모델 대비 정확도를 유지하거나 향상시키면서 계산 비용을 줄이는 것.
• 성능을 유지하면서도 효율성을 향상시키는 특징 융합 전략을 탐색하는 것.
• 효율적인 아키텍처 설계를 통해 실시간으로 디바이스 내에서 구동 가능한 다중 모odal 생리적 감지 시스템을 가능하게 하는 것.

제안 방법

• 모델은 이중 브랜치 아키텍처를 사용한다: 고해상도 입력을 사용하는 'Big' 브랜치는 얼굴 운동의 세밀한 공간적 특징을 캡처하고, 저해상도 입력을 사용하는 'Small' 브랜치는 공간 노이즈를 압축하면서 시간적 동역학을 강조한다.
• 'Small' 브랜치는 시간적 특징을 프레임 간에 순환적으로 이동시키는 Wrapping Temporal Shift Modules (WTSM)를 사용하여, 제한된 프레임 수에서도 시간적 맥락을 유지한다. 이는 제로 패딩으로 인한 특징 손실 문제를 방지한다.
• WTSM는 표준 제로 패딩 시간 이동 모듈이 과도한 제로 값으로 인해 성능이 저하되는 저프레임 수 상황에서 특별히 설계되었다.
• 특징 융합은 저수준 특징이 아닌 고수준 표현에서 수행되며, 이는 계산 오버헤드를 최소화하면서도 경험적으로 더 높은 정확도를 달성한다.
• 모델은 얼굴 운동 단위(AUs), 광plethysmography(PPG), 호흡에 대한 작업별 목표를 통합한 유일한 손실 함수를 기반으로 엔드 투 엔드로 훈련된다.
• 계산 효율성을 극대화하기 위해 공간적 및 시간적 스케일을 혼합하여 사용하였으며, 기준 다중 작업 모델 대비 FLOPs를 60% 이상 감소시켰다.

실험 결과

연구 질문

• RQ1 한 개의 딥러닝 모델이 영상에서 공간적 및 시간적 특성이 상이한 여러 생리적 신호를 효과적이고 효율적으로 예측할 수 있는가?
• RQ2 저수준 표현이 아닌 고수준 표현에서 특징을 융합할 경우, 다중 작업 생리 측정에서 정확도와 효율성이 향상되는가?
• RQ3 저프레임 수 상황에서 Wrapping Temporal Shift Module (WTSM)이 표준 시간 이동 모듈보다 성능이 뛰어나게 되는가?
• RQ4 작업 최적화 모델에 비해 미세조정 없이도 통합 모델이 얼굴 운동, 맥박, 호흡에 대해 얼마나 잘 일반화되는가?
• RQ5 다중 작업 생리 영상 분석에서 이중 브랜치 설계와 혼합 공간-시간 스케일 처리를 조합함으로써 얼마나 많은 계산 효율성 향상을 기대할 수 있는가?

주요 결과

• BigSmall는 얼굴 운동 단위 인식, 맥박률 추정, 호흡률 추정의 세 가지 작업 모두에서 최신 기술 수준의 정확도를 확보하면서, 기준 다중 작업 모델 대비 계산 비용을 60% 이상 감소시켰다.
• 고수준 표현에서 특징 융합은 저수준 융합 대비 정확도 손실가능성이 거의 없지만, 뚜렷한 효율성 향상을 이룬다.
• Wrapping Temporal Shift Module (WTSM)는 저프레임 상황에서 표준 제로 패딩 시간 이동 모듈보다 뛰어난 성능을 보이며, 후자는 과도한 제로 값으로 인한 특징 손실 문제를 야기한다.
• 한 모odal에서 사전학습하고 다른 모달에서 미세조정하는 전략은 열악한 성능을 보였으며, 이는 BigSmall와 같은 통합 다중 작업 아키텍처의 필요성을 강조한다.
• 추가 센서나 모달 전용 아키텍처 없이도 영상 입력만으로 다양한 생리적 신호에 대해 강력한 일반화 성능을 보였다.