[논문 리뷰] DeepMag: Source Specific Motion Magnification Using Gradient Ascent

Weixuan Chen, Daniel McDuff|arXiv (Cornell University)|2018. 08. 09.

Advanced Optical Sensing Technologies인용 수 11

한 줄 요약

DeepMag는 L1 정규화와 부호 보정을 사용한 기울기 상승 기반의 엔드 투 엔드 딥러닝 프레임워크를 제안하며, 큰 강성 헤드 운동 조건에서도 맥박 및 호흡과 같은 미세한 생리 신호를 안정적으로 증폭시킨다. 기존 최고 수준의 방법들에 비해 잡음이 현저히 줄어들고 영상 품질을 유지한다.

ABSTRACT

Many important physical phenomena involve subtle signals that are difficult to observe with the unaided eye, yet visualizing them can be very informative. Current motion magnification techniques can reveal these small temporal variations in video, but require precise prior knowledge about the target signal, and cannot deal with interference motions at a similar frequency. We present DeepMag an end-to-end deep neural video-processing framework based on gradient ascent that enables automated magnification of subtle color and motion signals from a specific source, even in the presence of large motions of various velocities. While the approach is generalizable, the advantages of DeepMag are highlighted via the task of video-based physiological visualization. Through systematic quantitative and qualitative evaluation of the approach on videos with different levels of head motion, we compare the magnification of pulse and respiration to existing state-of-the-art methods. Our method produces magnified videos with substantially fewer artifacts and blurring whilst magnifying the physiological changes by a similar degree.

연구 동기 및 목표

• 큰 간섭 운동이 존재할 경우 기존의 운동 증폭 방법이 실패하는 한계를 해결하기 위해.
• 영상 내 미세한 색상 및 운동 변화, 특히 생리 신호에 대해 엔드 투 엔드로 소스 특화된 증폭을 가능하게 하기 위해.
• 큰 강성 운동에 대해 강건하고 시각적 품질을 유지하는 기울기 상승 기반 프레임워크를 개발하기 위해.
• 다양한 수준의 헤드 운동 조건에서 성능을 체계적으로 평가하고 기존 최고 수준의 방법들과 비교하기 위해.
• 메트릭스의 왜곡이나 잡음 없이 맥박 및 호흡 신호를 증폭할 수 있는지 효과적으로 입증하기 위해.

제안 방법

• 해당 방법은 깊이 컨볼루션 신경망(CNN)을 영상 운동 식별자로 사용하여 간섭 운동으로부터 특정 소스 신호를 분리한다.
• 목표 신호를 증폭하면서 다른 운동 성분을 유지하기 위해 CNN의 입력 공간에서 기울기 상승을 수행한다.
• 모든 영상 프레임에서 일관된 증폭을 보장하기 위해 기울기에 L1 정규화를 적용한다.
• 증폭 과정에서 운동 방향이 뒤바뀌는 것을 방지하기 위해 부호 보정을 도입하여 왜곡을 줄인다.
• 엔드 투 엔드로 훈련 가능하며, 어떤 소스 특화된 운동 또는 색상 변화에도 적용 가능하다.
• 영상 품질과 신호 정확도를 정량화하기 위해 PSNR 및 SSIM 지표를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 기울기 상승 방법이 사전 주파수 지식 없이도 미세한 생리 신호를 효과적으로 증폭할 수 있는가?
• RQ2 헤드 이동과 같은 큰 간섭 강성 운동이 존재할 경우 이 방법은 어떻게 성능을 유지하는가?
• RQ3 L1 정규화와 부호 보정이 증폭된 영상에서 잡음과 시각적 품질 향상에 얼마나 기여하는가?
• RQ4 정량적 및 정성적 측면에서 기존 최고 수준의 운동 증폭 기법들과 비교해 볼 때 이 방법은 어떤가?
• RQ5 이 방법은 영상에서 다양한 주파수의 생리 신호를 동시에 증폭하고 합성할 수 있는가?

주요 결과

• DeepMag는 특히 높은 강성 운동 조건에서 기존 최고 수준의 방법들보다 현저히 낮은 잡음 수준을 기록한다.
• 다양한 운동 수준에서 높은 PSNR 및 SSIM 값을 유지하여 영상 품질 유지 능력이 뛰어나다는 것을 보여준다.
• L1 정규화는 기울기 분포를 입력 운동 표현과 일치시켜 모든 프레임에서 일관된 증폭을 보장한다.
• 부호 보정은 운동 증폭에서 음의 상관관계를 제거하여 인체 부위에서의 왜곡을 줄인다.
• 학습 곡선을 통해 더 작은 스텝 크기와 더 많은 반복 횟수는 더 큰 스텝 크기와 적은 반복 횟수에 비해 더 효율적인 증폭을 이룬다.
• 간섭 운동이 유사 주파수를 가질 때조차도 맥박(PPG) 및 호흡 신호를 최소한의 품질 저하로 성공적으로 증폭한다.