[논문 리뷰] Infrared Image Super-Resolution: Systematic Review, and Future Trends

Yongsong Huang, Tomo Miyazaki외 2명|arXiv (Cornell University)|2022. 12. 22.

Advanced Image Processing Techniques인용 수 11

한 줄 요약

이 종합 검토는 가시 영상과 비교할 때 저대비, 텍스처 부족, 복잡한 열화 등의 고유한 과제를 지닌 적외선(IR) 영상 초해상도(SR)에 대한 포괄적인 검토를 제공한다. 이 논문은 딥러닝 기반 SR 방법을 체계적으로 분류하고, 데이터셋과 평가 지표를 평가하며, 향후 방향으로 대규모 비전 모델과 확산 네트워크를 포함하여 가시 영상 전이 학습을 넘어서 IR 영상 품질을 향상시키기 위한 방안을 제시한다.

ABSTRACT

Image Super-Resolution (SR) is essential for a wide range of computer vision and image processing tasks. Investigating infrared (IR) image (or thermal images) super-resolution is a continuing concern within the development of deep learning. This survey aims to provide a comprehensive perspective of IR image super-resolution, including its applications, hardware imaging system dilemmas, and taxonomy of image processing methodologies. In addition, the datasets and evaluation metrics in IR image super-resolution tasks are also discussed. Furthermore, the deficiencies in current technologies and possible promising directions for the community to explore are highlighted. To cope with the rapid development in this field, we intend to regularly update the relevant excellent work at https://github.com/yongsongH/Infrared_Image_SR_Survey.

연구 동기 및 목표

• 적외선(IR) 영상 초해상도 분야의 응용, 방법, 데이터셋, 평가 지표를 체계적으로 검토하기 위해.
• 가시 영상과는 다름없이 저조도, 열악한 기울기, 복잡한 열화 등의 고유한 특성으로 인해 IR 영상이 가시 영상과 본질적으로 다름을 밝히고, 이로 인해 가시 영상 SR 방법의 직접적 전이가 어렵다는 점을 규명하기 위해.
• 물리적 및 전자적 제약으로 인해 IR 시스템의 하드웨어 기반 영상 품질 향상의 한계를 강조하기 위해.
• CNN, GAN, 트랜스포머, 그리고 새로운 생성 모델을 포함한 딥러닝 기반 IR SR 방법의 분류 체계를 제공하기 위해.
• 대규모 비전 모델과 확산 기반 아키텍처와 같은 열린 과제와 향후 연구 방향을 제시하여 IR 영상 초해상도 성능을 향상시키기 위해.

제안 방법

• 이 검토는 아키텍처 설계 및 학습 프레임워크에 기반해 IR 영상 초해상도 방법을 계층적이고 체계적인 분류 체계로 분류한다.
• 특정 IR 영상에 적합한 열화 모델을 분석하며, 블러 커널, 노이즈(예: 가우시안 백색 잡음 등), 다운샘플링을 포함한다. 이를 수식 (2)로 수식화한다: $\mathbb{D}(I_{HR};\delta) = (I_{HR} \otimes \kappa)\downarrow_d + n_\varsigma$.
• 기준 영상 기반 및 비기준 영상 품질 평가(IQA) 지표를 평가하며, PSNR, BRISQUE, 수식 (14)에 제시된 하이브리드 $Q_{SR}$ 지표를 포함한다. 이 지표는 비기준 및 기준 점수를 균형 있게 조합한다.
• 기존의 IR 영상 데이터셋과 벤치마크를 검토하며, 이들이 SR 모델 훈련 및 평가에 미치는 역할을 강조한다.
• 수식 (3)에 제시된 정규화 및 손실 함수의 사용을 분석한다: $\hat{\theta} = \arg\min_\theta \mathcal{L}(I_{HR}, I_{SR}) + \lambda\Phi(\theta)$, 이를 통해 SR 재구성 최적화를 수행한다.
• 최신 학습 패러다임인 트랜스포머, GAN, 확산 모델을 탐색하며, 향후 대규모 비전 모델(LVMs)과의 통합 가능성을 제안하여 특징 학습 및 이식성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 기존의 가시 영상 초해상도 방법이 왜 직접적으로 적외선 영상에 적용되었을 때 실패하는가?
• RQ2 텍스처 부족 및 주파수 겹침과 같은 고유한 영상 특성으로 인해 IR 영상이 초해상도 맥락에서 가시 영상과 본질적으로 어떻게 다름을 보이며, 이는 어떤 영향을 미치는가?
• RQ3 IR 영상 시스템의 하드웨어 제약이 영상 품질을 어떻게 제한하는가? 왜 하드웨어 재설계는 확장 가능한 해결책이 아니며?
• RQ4 IR 영상 초해상도에 가장 효과적인 딥러닝 아키텍처와 손실 함수는 무엇이며, 이는 가시 영상 SR에 사용되는 것과 어떻게 다름을 보이는가?
• RQ5 대규모 비전 모델과 확산 기반 아키텍처와 같은 향후 방향이 IR 영상 초해상도 성능을 크게 향상시킬 수 있는가?

주요 결과

• IR 영상 초해상도는 표준 가시 영상 열화 함수로는 충분히 모델링되지 않는 비균일한 블러 커널과 환경 노이즈를 포함한 복잡한 열화 패atters로 인해 가시 영상 SR보다 본질적으로 더 어렵다.
• 기존의 가시 영상 SR 모델(예: CNN, GAN)은 텍스처와 색상 부족으로 인해 IR 영상에서 떨어진 성능을 보이며, 이는 IR 고유의 패턴을 고려한 특수 설계된 아키텍처가 필요함을 시사한다.
• 하이브리드 $Q_{SR}$ 지표(수식 14)는 BRISQUE와 PSNR를 학습 가능한 가중치 $\lambda_1$ 및 $\lambda_2$로 조합하여, 기존 지표보다 더 견고한 비기준 평가를 제공한다.
• 기존의 IR SR 데이터셋은 규모와 다양성 측면에서 제한되어 있으며, 표준화된 벤치마크가 부족하여 다양한 방법 간의 공정한 비교 및 재현 가능성을 저해한다.
• 향후 성과 향상은 대규모 비전 모델(LVMs)과 확산 기반 생성 모델을 통해 기대되며, 이는 사전 훈련된 지식을 활용하고 적은 레이블 데이터로도 복잡한 IR 영상 사전 지식을 모델링할 수 있다.
• 이 검토는 대규모 가시 영상 사전 훈련에서의 전이 학습이 IR SR에 최적화되어 있지 않음을 밝히며, 도메인 전용 사전 훈련 또는 자기지도 학습 방법이 더 효과적일 수 있음을 규명한다.