[논문 리뷰] Local-Global Temporal Difference Learning for Satellite Video Super-Resolution

Yi Xiao, Qiangqiang Yuan외 5명|arXiv (Cornell University)|2023. 04. 10.

Advanced Vision and Imaging참고 문헌 68인용 수 4

한 줄 요약

이 논문은 효과적인 운동 보정을 위해 국소적이고 전역적인 시간적 차이를 활용하는 새로운 인공위성 영상 초해상도 기법인 LGTD를 제안한다. 인접 프레임 간의 단기 RGB 차이를 모델링하고 시퀀스 전반의 장기 이방향 차이를 분석함으로써, LGTD는 특징 정렬과 재구성 정밀도를 향상시켜 다섯 개인 인공위성 영상 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 단일 방향 기반 기준 대비 최대 0.23dB의 PSNR 향상을 기록한다.

ABSTRACT

Optical-flow-based and kernel-based approaches have been extensively explored for temporal compensation in satellite Video Super-Resolution (VSR). However, these techniques are less generalized in large-scale or complex scenarios, especially in satellite videos. In this paper, we propose to exploit the well-defined temporal difference for efficient and effective temporal compensation. To fully utilize the local and global temporal information within frames, we systematically modeled the short-term and long-term temporal discrepancies since we observed that these discrepancies offer distinct and mutually complementary properties. Specifically, we devise a Short-term Temporal Difference Module (S-TDM) to extract local motion representations from RGB difference maps between adjacent frames, which yields more clues for accurate texture representation. To explore the global dependency in the entire frame sequence, a Long-term Temporal Difference Module (L-TDM) is proposed, where the differences between forward and backward segments are incorporated and activated to guide the modulation of the temporal feature, leading to a holistic global compensation. Moreover, we further propose a Difference Compensation Unit (DCU) to enrich the interaction between the spatial distribution of the target frame and temporal compensated results, which helps maintain spatial consistency while refining the features to avoid misalignment. Rigorous objective and subjective evaluations conducted across five mainstream video satellites demonstrate that our method performs favorably against state-of-the-art approaches. Code will be available at https://github.com/XY-boy/LGTD

연구 동기 및 목표

• 정적 배경과 복잡한 운동으로 인해 정확하지 못한 시간 보정이 발생하는 인공위성 영상 초해상도 문제를 해결하기 위해.
• 대규모이고 반복적인 인공위성 영상 시퀀스를 다룰 때 광학 흐름 및 커널 기반 방법의 한계를 극복하기 위해.
• 광학 흐름보다 더 견고한 운동 표현 방식으로서, 국소적이고 전역적인 시간적 차이를 활용하기 위해.
• 차별 보정 단위(DCU)를 도입하여 시간적 특징 조정을 유도하고, 정렬 오류를 줄임으로써 초해상도 재구성 과정에서 공간 일致성과 특징 정밀도를 향상시키기 위해.
• 재구성에 하이브리드 어텐션 메커니즘을 활용하여 인공위성 영상 초해상도에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 인접 프레임 간의 RGB 차이를 계산하여 국소적 운동 표현을 추출하는 단기 시간적 차이 모듈(S-TDM)을 제안한다.
• 앞서 진행된 세그먼트와 뒤로 진행된 세그먼트 간의 이방향 차이를 모델링하여 전역적인 시간적 의존성을 포착하는 장기 시간적 차이 모듈(L-TDM)을 도입한다.
• 장거리 보정을 위해 전방 및 후방 특징을 부드럽게 처리하여 재현을 줄인 후, 통합적인 시간적 차이를 계산한다.
• 공간적 및 시간적 표현을 정렬함으로써 시간적 특징 조정을 유도하는 차별 보정 단위(DCU)를 활용한다. 이는 정렬 오류를 감소시킨다.
• 자기 어텐션과 채널 어텐션을 융합한 하이브리드 어텐션 메커니즘을 도입하여 국소적 및 전역적 특징을 통합한 후 고해상도(HR) 프레임을 재구성한다.
• S-TDM 및 L-TDM 출력값과 대상 프레임을 통합하기 위해 이중 단계 특징 융합 전략을 설계하여 공간-시간 일관성을 향상시킨다.

Figure 1: Comparison between RGB temporal differences and optical flow maps. The optical flow maps were generated by PyFlow [ 34 ] . Temporal differences activate more accurate and sharp cues than optical flows. Besides, the local temporal difference and global temporal difference are not equally in

실험 결과

연구 질문

• RQ1 인공위성 영상 초해상도에서 광학 흐름 기반 방법보다 명시적인 시간적 차이 모델링이 우월한가?
• RQ2 단기 및 장기 시간적 차이를 효과적으로 융합하여 인공위성 영상에서 운동 표현을 향상시킬 수 있는가?
• RQ3 이방향 시간적 차이 모델링이 인공위성 영상 시퀀스에서 전역 운동 패턴을 포착하는 데 어떤 영향을 미치는가?
• RQ4 차별 보정 단위(DCU)는 시간적 특징 학습에서 정렬과 공간 일관성을 어떻게 향상시키는가?
• RQ5 하이브리드 어텐션 메커니즘은 국소적 및 전역 시간적 특징을 통합하여 고정밀도 고해상도(HR) 프레임을 효과적으로 재구성할 수 있는가?

주요 결과

• 제안된 LGTD 모델은 다섯 개인 주요 인공위성 영상 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 더 높은 PSNR 및 시각적 품질을 입증한다.
• 이방향 L-TDM 구성은 단일 방향 모델 대비 FLOPs 증가가 미미한 수준이지만 PSNR를 0.23dB 향상시킨다.
• 차별 보정 단위(DCU)는 공간 정밀도를 향상시켜 DUC가 없는 기준 모델 대비 PSNR를 0.07dB 향상시킨다.
• 재구성 과정에서 하이브리드 어텐션 메커니즘이 단독 자기 어텐션 및 채널 어텐션보다 뛰어나, Jilin-T 데이터셋에서 최고의 PSNR 35.38 dB를 기록한다.
• 절단 분석 결과 S-TDM와 L-TDM가 성능 향상에 기여하며, S-TDM는 국소 텍스처를 향상시키고 L-TDM는 전역 운동 일관성을 개선한다.
• 시간적 차이를 활용함으로써 인공위성 영상의 재현을 효과적으로 줄여 광학 흐름보다 더 정확하고 희소한 운동 표현을 제공한다.

Figure 2: The overall structure of our proposed Local-Global Temporal Difference learning network (LGTD). It consists of four modules: (1) Short-term Temporal Difference Module (S-TDM), which is used for local temporal compensation; (2) Long-term Temporal Difference Module (L-TDM), which is proposed