[논문 리뷰] Rethinking Performance Gains in Image Dehazing Networks

Yuda Song, Yang Zhou외 2명|arXiv (Cornell University)|2022. 09. 23.

Image Enhancement Techniques인용 수 47

한 줄 요약

본문은 gating 기반 잔차 블록과 선택적 커널 융합을 활용한 컴팩트한 U-Net 변형인 gUNet을 도입하여 여러 데이터셋에 걸친 광범위한 제거 실험으로 낮은 오버헤드에서도 강력한 성능을 달성함을 검증한다.

ABSTRACT

Image dehazing is an active topic in low-level vision, and many image dehazing networks have been proposed with the rapid development of deep learning. Although these networks' pipelines work fine, the key mechanism to improving image dehazing performance remains unclear. For this reason, we do not target to propose a dehazing network with fancy modules; rather, we make minimal modifications to popular U-Net to obtain a compact dehazing network. Specifically, we swap out the convolutional blocks in U-Net for residual blocks with the gating mechanism, fuse the feature maps of main paths and skip connections using the selective kernel, and call the resulting U-Net variant gUNet. As a result, with a significantly reduced overhead, gUNet is superior to state-of-the-art methods on multiple image dehazing datasets. Finally, we verify these key designs to the performance gain of image dehazing networks through extensive ablation studies.

연구 동기 및 목표

• 이미지 디헤이징 네트워크에서 성능 향상을 이끄는 핵심 아키텍처 설계를 식별한다.
• 계산 비용이 낮으면서도 정확도를 유지하거나 향상시키는 경량 디헤이징 모델을 개발한다.”
• 주의 집중(attention), 활성화, 그리고 글로벌 정보 융합이 디헤이징 성능에 미치는 영향을 분리 분석한다.”
• 다양한 데이터셋 전반에서 설계 선택을 검증하기 위한 광범위한 어블레이션을 제공한다.

제안 방법

• U-Net의 표준 합성곱 블록을 게이트된 합성곱(gConv) 블록으로 대체한다.
• 표현력은 유지하면서 오버헤드를 줄이기 위해 depth-wise separable 합성곱을 사용한다.
• 채널 주의(attention)를 이용해 스킵 연결과 메인 경로 특징을 동적으로 융합하는 SK Fusion을 도입한다.
• 잠재적으로 화현 없는 이미지 잔차를 예측하고 L1 손실로 학습한다.
• SyncBN, FrozenBN, 혼합 정밀도, 워밍업과 같은 학습 전략을 적용하여 학습을 안정화하고 최적화한다.

실험 결과

연구 질문

• RQ1 U-Net의 어떤 최소한의 설계 변경이 낮은 오버헤드로도 이미지 디헤이징 성능에서 상당한 이득을 가져올 수 있는가?
• RQ2 게이팅 메커니즘과 선택적 커널 융합이 디헤이징을 위해 네트워크가 로컬 및 글로벌 정보를 모델링하는 능력에 어떤 영향을 미치는가?
• RQ3 제거된 구성 요소들(gConv, SK Fusion, 채널 주의)이 여러 데이터셋에서 일관되게 성능을 향상시키는가?
• RQ4 경량 디헤이징 네트워크의 안정성과 최종 정확도에 가장 큰 영향을 미치는 학습 전략은 무엇인가?

주요 결과

• gUNet 변종은 여러 데이터셋에서 많은 최첨단 방법들에 비해 현저히 낮은 오버헤드로 우수한 성능을 달성한다.
• 게이팅 기반 블록(gConv)은 기존 활성화보다 일관되게 성능을 향상시키며 데이터셋에 따라 다소 차이가 있다.
• SK Fusion은 스킵 경로와 메인 경로 특징을 효과적으로 결합하고 전역 대기광 추정에 결정적이다.
• 정규화 전략(SyncBN)과 학습 기간은 안정성과 최종 정확도에 크게 영향을 주며, 더 긴 학습은 이득을 주기도 하지만 작은 데이터셋에서 과적합 위험이 있다.
• 같은 파라미터 예산하에서 더 깊은 구성이 일반적으로 더 넓은 구성보다 성능이 우수하며, 깊이가 디헤이징 모델의 핵심 요인임을 강조한다.