[논문 리뷰] Subsampled Turbulence Removal Network

Wai Ho Chak, Chun Pong Lau외 1명|arXiv (Cornell University)|2018. 07. 12.

Advanced Image Processing Techniques인용 수 11

한 줄 요약

이 논문은 대기 난류로 인해 손상된 영상 시퀀스를 복원하기 위한 샘플링된 난류 제거 네트워크(TRN)를 제안한다. 이는 다중 프레임 입력과 ℓ₁ 손실을 갖는 WGAN 기반의 딥러닝 모델로, 실제 훈련 데이터가 제한된 상황에서도 상당한 복원 성능 향상을 이룬다. 새로운 데이터 증강 방법을 통해 현실적인 난류를 시뮬레이션하고, 고품질 프레임을 선택하기 위한 샘플링 전략을 통합함으로써, PSNR와 SSIM 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a deep-learning approach to restore a sequence of turbulence-distorted video frames from turbulent deformations and space-time varying blurs. Instead of requiring a massive training sample size in deep networks, we purpose a training strategy that is based on a new data augmentation method to model turbulence from a relatively small dataset. Then we introduce a subsampled method to enhance the restoration performance of the presented GAN model. The contributions of the paper is threefold: first, we introduce a simple but effective data augmentation algorithm to model the turbulence in real life for training in the deep network; Second, we firstly purpose the Wasserstein GAN combined with $\ell_1$ cost for successful restoration of turbulence-corrupted video sequence; Third, we combine the subsampling algorithm to filter out strongly corrupted frames to generate a video sequence with better quality.

연구 동기 및 목표

• 대기 난류로 인해 심한 기하학적 왜곡과 시간-공간에 따라 변화하는 흐림이 발생하는 영상 시퀀스를 복원하는 데 도전하는 것.
• 실제 난류로 인해 손상된 훈련 데이터의 부족을 해결하기 위해, 다양한 난류 효과를 합성적으로 생성하는 효과적인 데이터 증강 방법을 제안하는 것.
• 훈련된 GAN 모델에 샘플링 전략을 통합하여 덜 손상된 프레임을 선택함으로써 복원 성능을 향상시키는 것.
• 물리적 난류 모델을 명시적으로 활용하지 않고도 동시에 기하학적 왜곡을 제거하고 흐림을 보정하는 딥러닝 프레임워크를 개발하는 것.
• 난류 영향을 받는 영상 시퀀스에서 동시 복원 및 기하학적 교정을 위한 GAN 기반 접근의 타당성과 효율성을 입증하는 것.

제안 방법

• 시간적 일관성을 향상시키기 위해 다중 프레임 입력을 활용하는 워샤르스테인 GAN(WGAN)을 사용하는 방법.
• 청결한 이미지에 무작위로 현실적인 왜곡과 흐림을 적용하여 합성 난류를 생성하는 새로운 데이터 증강 알고리즘을 도입.
• 복원된 이미지의 구조적 세부 정보를 유지하고 특징의 정확성을 향상시키기 위해 ℓ₁ 손실 함수를 사용.
• 추론 과정에서 샘플링 메커니즘을 적용하여 심하게 왜곡된 프레임을 걸러내고, 가장 선명하고 손상이 적은 프레임만 네트워크에 입력으로 제공.
• 실제로 수집된 소규모 데이터셋을 합성으로 생성된 난류로 증강함으로써, 대규모 실존 난류 데이터의 필요성을 줄이는 훈련 전략.
• 손상된 프레임의 시퀀스를 하나의 고품질, 복원된, 기하학적으로 교정된 출력 이미지로 매핑하도록 모델을 훈련.

실험 결과

연구 질문

• RQ1 거대한 실존 훈련 데이터가 필요 없이도 딥러닝 모델이 대기 난류로 인해 손상된 영상 시퀀스를 효과적으로 복원할 수 있는가?
• RQ2 데이터 증강을 통해 기하학적 왜곡과 시간-공간에 따라 변화하는 흐림을 포함한 현실적인 난류 효과를 어떻게 시뮬레이션할 수 있는가?
• RQ3 추론 과정에서 샘플링 전략을 통합하면 난류 제거 네트워크의 복원된 이미지 품질이 향상되는가?
• RQ4 다중 프레임 입력과 ℓ₁ 손실을 갖는 WGAN가 기존 방법보다 기하학적 왜곡과 흐림 양측을 효과적으로 억제할 수 있는가?
• RQ5 SGL 및 IRIS와 같은 최신 기술 대비 제안된 방법이 아티팩트를 얼마나 줄이고 이미지 세부 정보를 얼마나 잘 유지하는가?

주요 결과

• 제안된 TRN 모델은 비교된 모든 방법 중에서 가장 높은 PSNR와 SSIM 점수를 기록했으며, 'building 3' 시퀀스에서 24.7 dB PSNR와 0.836 SSIM를 기록했다.
• 시각적 품질과 정량적 지표 양면에서 TRN은 SGL 및 IRIS 방법을 모두 초월하여 흐림과 기하학적 왜곡이 적은 결과를 보였다.
• 실제 난류 영상 시퀀스에서 샘플링을 적용한 TRN는 적용하지 않은 경우보다 눈에 띄게 선명한 결과를 제공하여, 샘플링 전략의 효과를 확인했다.
• 데이터 증강 방법은 단일 청결한 이미지에서 다양한 현실적인 난류 효과를 효과적으로 생성하여, 최소한의 실존 데이터로도 효과적인 훈련이 가능하도록 했다.
• WGAN에 다중 프레임 입력과 ℓ₁ 손실을 조합함으로써 표준 GAN에 비해 더 안정적인 훈련과 더 나은 이미지 세부 정보 보존이 가능했다.
• 샘플링 방법은 덜 손상된 프레임만 선택함으로써 복원 성능을 크게 향상시켰고, 최종 출력의 노이즈와 왜곡을 줄였다.