[논문 리뷰] Complementary Feature Enhanced Network with Vision Transformer for Image Dehazing

Dong Zhao, Jia Li외 2명|arXiv (Cornell University)|2021. 09. 15.

Image Enhancement Techniques인용 수 10

한 줄 요약

이 논문은 이미지 탈안개 처리를 위해 하이브리드 국소-전역 비전 트랜스포머(HyLoG-ViT)를 활용한 보완적 특징 강화 프레임워크를 제안한다. 반사도 및 조명 예측과 같은 내재 이미지 분해를 통해 색상 기반 및 텍스처 기반 보완적 특징을 학습한다. 이 방법은 균일한, 비균일한, 야간 탈안개 벤치마크에서 최신 기술 수준의 성능을 달성하며, PSNR 29.582와 SSIM 0.9617로 CNN 기반 모델을 능가한다.

ABSTRACT

Conventional CNNs-based dehazing models suffer from two essential issues: the dehazing framework (limited in interpretability) and the convolution layers (content-independent and ineffective to learn long-range dependency information). In this paper, firstly, we propose a new complementary feature enhanced framework, in which the complementary features are learned by several complementary subtasks and then together serve to boost the performance of the primary task. One of the prominent advantages of the new framework is that the purposively chosen complementary tasks can focus on learning weakly dependent complementary features, avoiding repetitive and ineffective learning of the networks. We design a new dehazing network based on such a framework. Specifically, we select the intrinsic image decomposition as the complementary tasks, where the reflectance and shading prediction subtasks are used to extract the color-wise and texture-wise complementary features. To effectively aggregate these complementary features, we propose a complementary features selection module (CFSM) to select the more useful features for image dehazing. Furthermore, we introduce a new version of vision transformer block, named Hybrid Local-Global Vision Transformer (HyLoG-ViT), and incorporate it within our dehazing networks. The HyLoG-ViT block consists of the local and the global vision transformer paths used to capture local and global dependencies. As a result, the HyLoG-ViT introduces locality in the networks and captures the global and long-range dependencies. Extensive experiments on homogeneous, non-homogeneous, and nighttime dehazing tasks reveal that the proposed dehazing network can achieve comparable or even better performance than CNNs-based dehazing models.

연구 동기 및 목표

• 장거리 의존성 모델링에 효과적이지 못하고 해석이 어려운 CNN 기반 탈안개 모델의 한계를 해결한다.
• 기존의 컨볼루션 레이어의 콘텐츠 독립성 및 局소성 편향을 극복하기 위해 새로운 특징 학습 프레임워크를 도입한다.
• 통합 네트워크 내 보조 작업을 통해 명시적으로 보완적 특징을 학습함으로써 탈안개 성능을 향상시킨다.
• 국소 및 전역 이미지 의존성을 효과적으로 포착하기 위해 하이브리드 국소-전역 비전 트랜스포머(HyLoG-ViT)를 설계한다.
• 야간 및 비균일 안개와 같은 다양한 탈안개 시나리오에서 제안된 프레임워크의 유효성을 입증한다.

제안 방법

• 다중 하위작업(반사도 및 조명 예측)이 태스크에 특화된 보완적 특징을 학습하여 주 탈안개 작업을 지원하는 보완적 특징 강화 프레임워크를 제안한다.
• 반사도 및 조명 브랜치에서 유용한 특징을 적응적으로 융합하고 선택하는 보완적 특징 선택 모듈(CFSM)을 도입한다.
• 국소 및 전역 ViT 경로를 병렬로 구현한 하이브리드 국소-전역 비전 트랜스포머(HyLoG-ViT) 블록을 설계하여 국소 텍스처와 전역 맥락을 동시에 모델링한다.
• 3×3 컨볼루션 레이어를 사용해 국소 및 전역 ViT 경로의 특징을 융합함으로써 위치 인코딩에 의존하지 않고도 특징 표현을 향상시킨다.
• L1, 지각적, 그리고 적대적 손실을 포함하는 복합 손실 함수를 사용해 엔드 투 엔드 네트워크를 훈련시켜 시각적 품질과 구조적 정밀도를 향상시킨다.
• 내재 이미지 분해를 보조 작업으로 활용하여 반사도 기반(색상 기반) 및 조명 기반(텍스처 기반) 특징 학습을 유도한다.

실험 결과

연구 질문

• RQ1 내재 이미지 분해와 같은 보조 작업을 통해 보완적 특징을 학습하는 것이 기존 CNN에 비해 탈안개 성능 향상에 기여하는가?
• RQ2 보완적 특징 선택 모듈(CFSM)은 서로 다른 하위작업에서 유의미한 특징을 선택하고 융합하는 데 얼마나 효과적인가?
• RQ3 국소 및 전역 어텐션을 통합한 제안된 HyLoG-ViT 블록이 탈안개 작업에서 장거리 의존성을 모델링하는 데 표준 ViT나 CNN보다 우수한가?
• RQ4 HyLoG-ViT 아키텍처에서 위치 인코딩과 특징 융합 메커니즘이 최종 탈안개 성능에 미치는 영향은 무엇인가?
• RQ5 제안된 프레임워크는 야간 및 비균일 안개와 같은 다양한 탈안개 시나리오에 일반화 가능한가?

주요 결과

• 제안된 방법은 테스트 세트에서 PSNR 29.582와 SSIM 0.9617를 달성하여 기존의 CNN 기반 탈안개 모델을 능가한다.
• 제거 실험 결과 CFSM를 제거할 경우 PSNR가 0.671 dB 감소하고 SSIM이 0.0029 감소함으로써, CFSM가 특징 융합에서 핵심적인 역할을 한다는 것을 확인한다.
• HyLoG-ViT 블록은 최고의 성능(PNSR: 29.582, SSIM: 0.9617)을 기록하며, 별도의 CNN, ViT, 순차적 스택드 ViT 변형보다 뛰어난 성능을 보였다.
• 국소 및 전역 특징 융합을 위한 3×3 컨볼루션 레이어는 필수적이다. 요소별 합산으로 대체할 경우 PSNR는 28.34로, SSIM은 0.955로 떨어진다.
• 위치 인코딩은 미미한 이점을 제공할 뿐이며, 모델은 위치 인코딩 없이 가장 잘 작동함을 보여, 하이브리드 아키텍처의 인코딩 편향이 탈안개 작업에 충분함을 시사한다.
• 반사도 및 조명 하위작업의 공동 학습이 가장 높은 성능을 내며, 보완적 특징 학습의 효과성을 입증한다.