[논문 리뷰] Imaging through the Atmosphere using Turbulence Mitigation Transformer

Xingguang Zhang, Zhiyuan Mao외 2명|arXiv (Cornell University)|2022. 07. 13.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 물리기반의 퇴색 모델링, 효율적 특징 추출을 위한 새로운 시간-채널 공동 주의 메커니즘, 그리고 빠르고 정확한 난류 시뮬레이터를 통합한 딥러닝 프레임워크인 난류 완화 트랜스포머(Turbulence Mitigation Transformer, TMT)를 제안한다. TMT는 유사한 데이터로만 훈련된 경우에도 실제 난류 데이터에서 최신 기술 수준의 성능을 달성하며, 일반화 능력, 속도, 메모리 효율성 측면에서 기존 방법을 능가한다.

ABSTRACT

Restoring images distorted by atmospheric turbulence is a ubiquitous problem in long-range imaging applications. While existing deep-learning-based methods have demonstrated promising results in specific testing conditions, they suffer from three limitations: (1) lack of generalization capability from synthetic training data to real turbulence data; (2) failure to scale, hence causing memory and speed challenges when extending the idea to a large number of frames; (3) lack of a fast and accurate simulator to generate data for training neural networks. In this paper, we introduce the turbulence mitigation transformer (TMT) that explicitly addresses these issues. TMT brings three contributions: Firstly, TMT explicitly uses turbulence physics by decoupling the turbulence degradation and introducing a multi-scale loss for removing distortion, thus improving effectiveness. Secondly, TMT presents a new attention module along the temporal axis to extract extra features efficiently, thus improving memory and speed. Thirdly, TMT introduces a new simulator based on the Fourier sampler, temporal correlation, and flexible kernel size, thus improving our capability to synthesize better training data. TMT outperforms state-of-the-art video restoration models, especially in generalizing from synthetic to real turbulence data. Code, videos, and datasets are available at \href{https://xg416.github.io/TMT}{https://xg416.github.io/TMT}.

연구 동기 및 목표

• 딥러닝 기반 영상 복원에서 합성 난류 데이터에서 실제 난류 데이터로의 일반화 부족 문제를 해결하기 위해.
• 다중 프레임 영상 복원 트랜스포머에서 메모리 및 속도 제약을 극복하기 위해.
• 대규모 훈련 데이터 생성을 위한 빠르고 정확하며 물리적으로 타당한 시뮬레이터를 개발하기 위해.
• 탈기울이기 및 탈블러링 분해를 통해 난류 물리학을 명시적으로 모델링하는 신경망 아키텍처를 설계하기 위해.
• 순수하게 합성 훈련 데이터를 사용하여 실제 세계의 난류로 인한 훼손된 영상 시퀀스를 빌드인 복원할 수 있도록 하기 위해.

제안 방법

• TMT는 복원 작업을 두 단계로 분해한다: 파형 기울기 보정을 위한 탈기울이기와 공간적으로 변화하는 블러 제거를 위한 탈블러링으로, 물리적 타당성과 일반화 능력을 향상시킨다.
• 시간-채널 공동 주의(Temporal-Channel Joint Attention, TCJA) 모듈을 도입하여 시간 축을 따라 자기 주의를 적용함으로써 메모리 사용량을 감소시키고 더 긴 효과적인 프레임 시퀀스 처리를 가능하게 한다.
• 다중 해상도에서 훈련을 감독하는 다중 척도 손실 함수를 활용하여 특징 학습과 강건성을 향상시킨다.
• 밀도장 시뮬레이션을 위한 푸리에 기반 샘플러를 사용하는 새로운 난류 시뮬레이터를 제안하며, 시간적 상관관계와 유연한 커널 크기를 통합하여 현실감과 훈련 데이터의 다양성을 향상시킨다.
• 이 시뮬레이터를 통해 보간 또는 히우리스틱 근사 없이도 빠르고 정확하며 확장 가능한 합성 난류 데이터 생성이 가능하다.
• TMT는 합성 데이터에서 지도 학습 방식으로 훈련되고, 미세조정 없이 실제 세계의 시퀀스에서 평가되며, 강력한 제로샷 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 합성 난류 데이터로만 훈련된 딥러닝 모델이 실제 세계의 난류 훼손에 효과적으로 일반화될 수 있는가?
• RQ2 장시간 영상 시퀀스에서 성능을 유지하면서도 메모리 소비를 줄이기 위해 주의 메커니즘을 어떻게 재설계할 수 있는가?
• RQ3 특히 탈기울이기 및 탈블러링을 통해 모델링된 난류 물리학이 복원 정확도와 일반화 능력 향상에 어떤 역할을 하는가?
• RQ4 다양하고 고품질의 훈련 데이터를 위한 난류 복원을 위해 빠르고 물리적으로 정확한 시뮬레이터를 설계할 수 있는가?
• RQ5 제안된 다중 척도 감독과 TCJA 주의 메커니즘은 표준 영상 복원 트랜스포머에 비해 속도, 메모리, 성능 측면에서 어떻게 비교되는가?

주요 결과

• TMT는 실제 세계의 난류 시퀀스에서 PSNR 28.4543, SSIM 0.8539, LPIPS 0.1640을 기록하며, VRT 및 TSRWGAN과 같은 최신 기술 수준의 방법을 능가한다.
• 모델은 미세조정 없이도 실제 세계 데이터에 잘 일반화되어 있으며, 순수하게 합성 데이터로만 훈련된 경우에도 강력한 제로샷 능력을 입증한다.
• 시간-채널 공동 주의(TCJA) 메커니즘은 표준 영상 트랜스포머에 비해 메모리 사용량을 줄이고 더 긴 프레임 시퀀스 처리를 가능하게 한다.
• 제안된 시뮬레이터는 향상된 시간적 상관관계와 커널 유연성을 갖춘 고해상도 밀도장 난류 데이터를 생성하여 더 나은 훈련 데이터 다양성을 가능하게 한다.
• TMT는 CLEAR [4] 및 Mao et al. [5]와 같은 전통적 방법을 초월하여 더 선명하고 자연스럽고 더 나은 세부 사항 보존을 보이는 복원 결과를 생성한다.
• 합성 데이터에서 미세조정을 수행한 TSRWGAN은 실제 세계 데이터셋에서 뚜렷한 성능 향상을 보이며, 제안된 합성 데이터 분포의 가치를 확인한다.