[논문 리뷰] Hybrid Neural Fusion for Full-frame Video Stabilization

Yu-Lun Liu, Wei‐Sheng Lai외 3명|arXiv (Cornell University)|2021. 02. 11.

Image and Video Stabilization참고 문헌 68인용 수 4

한 줄 요약

이 논문은 NUS, Selfie, 그리고 DeepStab 데이터셋에서 뛰어난 시각적 품질을 달성하면서 전체 화면 해상도를 유지하는 전체 시야 안정화를 실현하는 학습 기반 하이브리드 신경 병합 방법을 제안한다. 이 방법은 다수의 인접 프레임에서 왜곡된 특징을 융합하여 안정화된 프레임을 합성한다. 특징 수준과 이미지 수준의 융합을 학습된 블렌딩 가중치와 잔류 세부 정보 전달 방식으로 조합함으로써, 광학 흐름 정확도 부족으로 인한 잡음과 과도한 자르기(cropping)를 줄이며, 전체 화면 해상도를 유지한다.

ABSTRACT

Existing video stabilization methods often generate visible distortion or require aggressive cropping of frame boundaries, resulting in smaller field of views. In this work, we present a frame synthesis algorithm to achieve full-frame video stabilization. We first estimate dense warp fields from neighboring frames and then synthesize the stabilized frame by fusing the warped contents. Our core technical novelty lies in the learning-based hybrid-space fusion that alleviates artifacts caused by optical flow inaccuracy and fast-moving objects. We validate the effectiveness of our method on the NUS, selfie, and DeepStab video datasets. Extensive experiment results demonstrate the merits of our approach over prior video stabilization methods.

연구 동기 및 목표

• 프레임 경계에서의 누락 픽셀로 인해 기존 영상 안정화 방법이 과도한 자르기를 요구하는 한계를 해결한다.
• 광학 흐름 정확도 부족과 빠른 움직임을 보이는 객체로 인한 안정화된 영상 프레임의 잡음 문제를 해결한다.
• 다수의 인접 프레임을 융합하여 해상도 손실 없이 전체 화면 해상도 안정화를 가능하게 한다.
• 학습된 블렌딩 가중치와 고주파 세부 정보 전달 방식을 통해 시각적 품질을 향상시킨다.
• 시간적 안정성과 왜곡 감소를 확보하면서도 원래의 시야를 유지하거나 확장한다.

제안 방법

• 광학 흐름 또는 운동 추정 네트워크를 사용하여 인접 프레임들로부터 조밀한 왜곡 필드를 추정한다.
• 강력한 융합을 위해 입력 프레임들을 풍부한 CNN 기반 특징 표현으로 인코딩한다.
• 특징 수준과 이미지 수준의 융합을 조합한 하이브리드 융합 메커니즘을 구현하여 흐름 오차에 대한 민감도를 낮춘다.
• 공간적으로 변화하는 블렌딩 가중치를 학습하여 왜곡된 특징들을 동적으로 조합하고 잡음을 최소화한다.
• 잔류 세부 정보 전달 기능을 갖춘 신경 디코더 네트워크를 사용해 최종 안정화된 프레임을 재구성하며, 더 선명한 출력을 확보한다.
• 운동 부드러움과 프레임 커버리지의 균형을 맞추기 위해 경로 조정을 적용하여 유효한 입력이 없는 영역을 최소화한다.

Figure 2: Limitations of current state-of-the-art video stabilization techniques. (a) Current commercial video stabilization software (Adobe Premiere Pro 2020) fails to generate smooth videos in challenging scenarios of rapid camera shakes. (b) Yu and Ramamoorthi’s method [ 70 ] produces a temporall

실험 결과

연구 질문

• RQ1 학습 기반 융합 전략이 영상 안정화에서 광학 흐름 정확도 부족으로 인한 잡음을 효과적으로 줄일 수 있는가?
• RQ2 다수의 왜곡된 프레임을 어떻게 융합하여 과도한 자르기 없이 전체 화면 안정화를 달성할 수 있는가?
• RQ3 단일 수준 융합 대비 하이브리드 특징 수준 및 이미지 수준 융합이 시각적 품질 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 시간적 안정성을 확보하면서도 원래 시야를 유지하거나 확장할 수 있는가?
• RQ5 학습된 블렌딩 가중치와 잔류 세부 정보 전달 기능의 통합이 안정화된 프레임의 선명도와 현실감을 얼마나 향상시키는가?

주요 결과

• NUS 및 Selfie 데이터셋에서 제안된 방법은 100% 자르기 비율을 달성하여, 프레임 경계 자르기 없이 전체 화면 해상도 안정화를 실현한다.
• Selfie 데이터셋에서 Yu와 Ramamoorthi의 흐름 스무딩 방법과 결합했을 경우, 콘텐츠(C), 왜곡(D), 안정성(S), 잡음(A) 점수 각각 1.00, 0.87, 0.87, 0.64로 향상된다.
• Tanks and Temples 데이터셋의 Trucks 시퀀스에서 LPIPS(0.12), SSIM(0.882), PSNR(23.25)로 최고 성능을 기록하며, FVS 및 기타 SOTA 뷰 합성 방법을 능가한다.
• 시각적 비교 결과, 고속 움직임 및 가림 현상이 자주 발생하는 장면에서 DIFRINT 및 Adobe Premiere Pro보다 더 적은 잡음과 더 선명한 결과를 생성한다.
• 절단 실험 결과, 하이브리드 융합, 학습된 블렌딩 가중치, 잔류 세부 정보 전달 기능 각각이 흐림과 왜곡 감소에 크게 기여하는 것으로 확인된다.
• NUS(어려운 핸드헬드 영상), Selfie(큰 운동이 있는 셀피 영상), DeepStab(고속 움직임 안정화 작업)를 포함한 다양한 데이터셋에서 뛰어난 성능을 유지한다.

Figure 4: Learning-based fusion. Given the warped features $\{f_{n^{s}}^{k^{t}}\}_{n\in\Omega_{k}}$ (or warped images for image-space fusion), warping masks $\{M_{n^{s}}^{k^{t}}\}_{n\in\Omega_{k}}$ , and the flow error maps $\{e_{n^{s}}^{k^{t}}\}_{n\in\Omega_{k}}$ , we first concatenate feature, war