[논문 리뷰] Understanding Deformable Alignment in Video Super-Resolution

Kelvin C. K. Chan, Xintao Wang외 3명|arXiv (Cornell University)|2020. 09. 15.

Advanced Vision and Imaging인용 수 17

한 줄 요약

이 논문은 영상 초해상도에서 변형 가능 컨볼루션(deformable convolution)이 공간 왜곡(spatial warping)과 컨볼루션을 조합함으로써 암묵적인 특징 정렬을 수행하며, 유동 기반 정렬(flow-based alignment)과 핵심 수식을 공유하지만 더 높은 오프셋 다양성(offset diversity)을 제공함을 밝혀낸다. 저자들은 학습된 오프셋이 광학 유동(optical flow)과 일치하도록 제약을 두는 오프셋 정밀도 손실(offset-fidelity loss)을 제안하여 학습을 안정화시키고 정렬 정확도를 향상시킨다. 이로 인해 왜곡 오차와 막힘 효과를 줄여 영상 초해상도에서 상당한 PSNR 향상을 이룬다.

ABSTRACT

Deformable convolution, originally proposed for the adaptation to geometric variations of objects, has recently shown compelling performance in aligning multiple frames and is increasingly adopted for video super-resolution. Despite its remarkable performance, its underlying mechanism for alignment remains unclear. In this study, we carefully investigate the relation between deformable alignment and the classic flow-based alignment. We show that deformable convolution can be decomposed into a combination of spatial warping and convolution. This decomposition reveals the commonality of deformable alignment and flow-based alignment in formulation, but with a key difference in their offset diversity. We further demonstrate through experiments that the increased diversity in deformable alignment yields better-aligned features, and hence significantly improves the quality of video super-resolution output. Based on our observations, we propose an offset-fidelity loss that guides the offset learning with optical flow. Experiments show that our loss successfully avoids the overflow of offsets and alleviates the instability problem of deformable alignment. Aside from the contributions to deformable alignment, our formulation inspires a more flexible approach to introduce offset diversity to flow-based alignment, improving its performance.

연구 동기 및 목표

• 변형 가능 컨볼루션의 영상 초해상도 정렬에서의 기본 메커니즘을 이해하기 위해.
• 변형 가능 정렬과 유동 기반 정렬 간의 공식적 관계를 수립하기 위해.
• 오프셋 다양성이 정렬 정확도 및 초해상도 품질 향상에 미치는 역할를 조사하기 위해.
• 특히 오프셋 오버플로우(offset overflow)에 기인한 변형 가능 정렬 학습의 불안정성 문제를 해결하기 위해.
• 광학 유동을 활용하여 변형 가능 컨볼루션 오프셋의 학습을 안정화하고 향상시키는 새로운 오프셋 정밀도 손실을 제안하기 위해.

제안 방법

• 변형 가능 정렬이 특징 수준의 공간 왜곡과 표준 컨볼루션의 조합으로 분해되며, 이는 유동 기반 정렬과 수학적으로 동치임을 드러낸다.
• 이 방법은 컨볼루션 커널 크기에 비례해 각 특징 위치당 다수의 오프셋을 도입함으로써, 단일 오프셋을 사용하는 유동 기반 방법에 비해 오프셋 다양성을 높임을 보여준다.
• 학습된 오프셋이 광학 유동 예측값과 임계값 이내에 있도록 제약을 두는 오프셋 정밀도 손실을 제안하여 오버플로우를 방지하고 학습을 안정화시킨다.
• 이 수식은 커널 크기와 오프셋 수를 분리함으로써, 흐름 기반 정렬에 오프셋 다양성을 영구적으로 도입할 수 있도록 한다.
• EDVR(최신 영상 초해상도 모델)을 대상으로 REDS4 벤치마크에서 PSNR 및 정성적 비교를 통해 평가한다.
• 조절 마스크는 다양한 오프셋의 기여도를 가중치로 사용하며, 낮은 마스크 값은 광학 유동에서 멀리 떨어진 오프셋이 덜 중요함을 나타낸다.

실험 결과

연구 질문

• RQ1 영상 초해상도에서 변형 가능 정렬은 유동 기반 정렬과 어떻게 수학적으로 관련되어 있는가?
• RQ2 오프셋 다양성이 정렬 정확도 향상 및 초해상도 성능 향상에 어떤 역할을 하는가?
• RQ3 공통된 기초 수식을 공유하고 있음에도 불구하고, 왜 변형 가능 정렬이 유동 기반 정렬을 능가하는가?
• RQ4 특히 오프셋 오버플로우에 기인한 변형 가능 정렬 학습의 불안정성은 어떻게 완화할 수 있는가?
• RQ5 광학 유동을 활용하여 변형 가능 컨볼루션 오프셋의 학습을 안내하고 안정화시킬 수 있는가?

주요 결과

• 변형 가능 정렬은 공간 왜곡과 컨볼루션의 조합으로 수학적으로 동치이며, 이는 유동 기반 정렬과 동일한 핵심 수식을 공유한다.
• 주요 차이점은 오프셋 다양성에 있다: 변형 가능 정렬은 커널 크기에 비례해 각 위치당 다수의 오프셋을 사용하지만, 유동 기반 정렬은 오직 하나의 오프셋만 사용하므로, 막힘과 운동 오차에 대해 더 강건하다.
• 제안된 오프셋 정밀도 손실은 학습 중 오프셋 오버플로우를 성공적으로 방지하여 네트워크를 안정화시키고 단일 이미지 SR 모델로의 열화를 피한다.
• 오프셋 정밀도 손실을 적용한 EDVR는 뚜렷한 성능 향상을 보이며, 특히 움직이는 자동차 휠과 같은 고속 운동 영역에서 세부 사항 복구가 눈에 띄게 향상된다.
• 오프셋 수가 증가함에 따라 조절 마스크의 점점 더 많은 비율이 작은 값(≈0)을 취함을 확인할 수 있었으며, 이는 많은 오프셋이 부차적이 되고 PSNR 향상이 특정 지점 이후 포화 상태에 도달함을 시사한다.
• 이 연구는 오프셋 다양성이 변형 가능 정렬의 뛰어난 성능의 주요 요인임을 입증하였으며, 단지 다른 최적화 전략이 아니라는 점을 밝혀냈다.