[논문 리뷰] Restoring Images in Adverse Weather Conditions via Histogram Transformer
이 논문은 비, 눈, dense 안개와 같은 악천후 조건에서 통합된 이미지 복원을 위한 새로운 Transformer 기반 아키텍처인 Histoformer을 제안한다. 밝기 기반으로 픽셀을 동적 버킷으로 그룹화하고 이러한 버킷 내외에서 자기주의를 적용하는 히스토GRAM 자체주의를 도입함으로써, 기존의 공간적 또는 채널 중심의 자기주의보다 장거리 공간적 의존성을 더 효과적으로 포착한다. 이 방법은 벤치마크 데이터셋에서 이전 방법 대비 0.96 dB의 PSNR 향상을 달성하여 최신 기술 수준(SOTA) 성능을 확보한다.
Transformer-based image restoration methods in adverse weather have achieved significant progress. Most of them use self-attention along the channel dimension or within spatially fixed-range blocks to reduce computational load. However, such a compromise results in limitations in capturing long-range spatial features. Inspired by the observation that the weather-induced degradation factors mainly cause similar occlusion and brightness, in this work, we propose an efficient Histogram Transformer (Histoformer) for restoring images affected by adverse weather. It is powered by a mechanism dubbed histogram self-attention, which sorts and segments spatial features into intensity-based bins. Self-attention is then applied across bins or within each bin to selectively focus on spatial features of dynamic range and process similar degraded pixels of the long range together. To boost histogram self-attention, we present a dynamic-range convolution enabling conventional convolution to conduct operation over similar pixels rather than neighbor pixels. We also observe that the common pixel-wise losses neglect linear association and correlation between output and ground-truth. Thus, we propose to leverage the Pearson correlation coefficient as a loss function to enforce the recovered pixels following the identical order as ground-truth. Extensive experiments demonstrate the efficacy and superiority of our proposed method. We have released the codes in Github.
연구 동기 및 목표
- 고정된 범위 또는 채널 전용 자기주의로 인해 기존의 Transformer 기반 방법이 장거리 공간적 특징을 포착하는 데에 한계를 가짐을 해결하기 위해.
- 비, 눈, 안개와 같은 다양한 악천후 조건을 하나의 효율적인 모델로 통합 복원하기 위해.
- 밝기 기반으로 픽셀을 동적으로 그룹화하고 이러한 그룹에 따라 자기주의를 적용함으로써 특징 표현을 향상시키기 위해.
- 동적 범위 컨볼루션과 이중 척도 게이팅 피드포워드 모듈을 통해 특징 학습을 향상시키기 위해.
- 예측된 이미지와 진짜 이미지 간의 선형 관계를 유지하기 위해 피어슨 상관계수 기반 손실을 통합함으로써 복원 정확도를 향상시키기 위해.
제안 방법
- 히스토GRAM 자체주의는 픽셀 값의 내림차순 정렬을 통해 공간적 특징을 밝기 기반 버킷으로 분할하고, 이러한 버킷 내외에서 자기주의를 적용함으로써 장거리, 기상 관련 특징을 모델링한다.
- 전체 통합과 세밀한 특징 추출 간 균형을 이루기 위해 두 가지 재구성 전략—버킷 기반 히스토GRAM 재구성(BHR)과 주파수 기반 히스토GRAM 재구성(FHR)—을 도입한다.
- 동적 범위 컨볼루션은 분리 가능 컨볼루션을 수행하기 전에 수평 및 수직 방향으로 픽셀을 정렬함으로써, 공간적으로 산산이 흩어져 있지만 밝기가 유사한 기상으로 인한 손상된 픽셀에 집중할 수 있도록 한다.
- 이중 척도 게이팅 피드포워드(DGFF) 모듈은 픽셀 셔플링과 적응형 게이팅을 사용하여 다양한 범위와 척도에서 특징을 집계함으로써 다중 범위 특징 모델링을 향상시킨다.
- 예측된 이미지와 진짜 이미지 간의 선형 순서 일致성을 강제하기 위해 피어슨 상관계수 기반의 새로운 상관계수 손실을 도입하여 시각적 품질을 향상시킨다.
- Histoformer 아키텍처는 이러한 구성 요소들을 통합된 Transformer 백본으로 통합하여, 공동으로 비내림, 안개 제거, 눈 제거를 위한 엔드 투 엔드 훈련을 수행한다.
실험 결과
연구 질문
- RQ1고정된 범위 또는 채널 전용 자기주의에 비해, 밝기 기반 자기주의는 악천후 조건에서 이미지 복원 시 장거리 공간적 특징 모델링을 어떻게 향상시키는가?
- RQ2픽셀을 밝기 기반으로 동적 버킷으로 그룹화함으로써, 공간적으로 산산이 흩어져 있지만 스펙트럼적으로 유사한 기상으로 인한 손상 패턴을 어떻게 더 잘 모델링할 수 있는가?
- RQ3표준 픽셀 기반 손실에 비해, 상관계수 기반 손실 함수를 통합함으로써 복원된 이미지의 구조적 및 선형 일치성은 얼마나 향상되는가?
- RQ4표준 컨볼루션에 비해, 동적 범위 컨볼루션은 비국소적이고 밝기가 유사한 기상에 의한 아티팩트를 학습하는 데 어떻게 향상되는가?
- RQ5히스토GRAM 자체주의 메커니즘에서 성능과 계산 비용 간의 균형을 유지하기 위해 최적의 버킷 수와 특징 차원은 무엇인가?
주요 결과
- 제안된 Histoformer는 SIREN 벤치마크에서 최신 기술 수준의 TKSA 방법 대비 0.96 dB의 PSNR 향상을 달성하여 뛰어난 복원 성능을 입증하였다.
- 동적 범위 컨볼루션은 순수한 컨볼루션 대비 0.05 dB의 PSNR 향상을 보였으며, 수평 → 수직 순서로 정렬을 적용했을 때 최고의 성능를 기록하였다.
- 히스토GRAM 자체주의 모듈에서 BHR 및 FHR 브랜치를 모두 사용할 경우 PSNR(32.08)와 SSIM(0.9389)가 가장 높았으며, 단일 브랜치 구성보다 뛰어난 성능을 보였다.
- 상관계수 손실의 가중치가 1일 때 가장 우수한 성능를 기록하였으며, 기준 모델 대비 0.31 dB의 PSNR 향상을 달성하였다.
- DGFF 모듈은 MSFN 대비 0.3 dB, 순수한 FFN 대비 0.76 dB의 PSNR 향상을 기록하여 다중 척도 및 다중 범위 특징 학습에서의 효과성을 확인하였다.
- 실제 응용에서는 Histoformer가 눈 오는 풍경을 성공적으로 복원하여, 이전에는 가려져 있던 문이나 건물과 같은 객체 탐지 시스템이 이를 식별할 수 있도록 했다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.