[논문 리뷰] Gated Context Aggregation Network for Image Dehazing and Deraining

Dongdong Chen, Mingming He외 6명|arXiv (Cornell University)|2018. 11. 21.

Image Enhancement Techniques참고 문헌 38인용 수 36

한 줄 요약

이 논문은 이미지 탈안개화와 비 제거를 위한 엔드 투 엔드 게이트드 컨텍스트 집합 네트워크인 GCANet을 제안한다. 이는 그리드 아티팩트를 줄이기 위해 스무딩된 확장 컨볼루션을 사용하고, 다중 수준 특징을 적응적으로 통합하기 위해 게이트드 퓨전 모듈을 사용한다. 이 방법은 탈안개화 및 비 제거 벤치마크에서 모두 최신 기술 수준의 성능을 달성하여, 정량적 지표와 시각적 품질 모두에서 이전 방법들보다 크게 뛰어나다.

ABSTRACT

Image dehazing aims to recover the uncorrupted content from a hazy image. Instead of leveraging traditional low-level or handcrafted image priors as the restoration constraints, e.g., dark channels and increased contrast, we propose an end-to-end gated context aggregation network to directly restore the final haze-free image. In this network, we adopt the latest smoothed dilation technique to help remove the gridding artifacts caused by the widely-used dilated convolution with negligible extra parameters, and leverage a gated sub-network to fuse the features from different levels. Extensive experiments demonstrate that our method can surpass previous state-of-the-art methods by a large margin both quantitatively and qualitatively. In addition, to demonstrate the generality of the proposed method, we further apply it to the image deraining task, which also achieves the state-of-the-art performance. Code has been made available at https://github.com/cddlyf/GCANet.

연구 동기 및 목표

• 어두운 채널 또는 대trast 최대화와 같은 수작업으로 설계된 사전 지식에 의존하는 전통적인 탈안개화 방법의 한계를 해결하기 위해.
• 전달도 또는 대기 빛의 추정을 명시적으로 요구하지 않고도 직접 흐림 없는 이미지를 회귀할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 최소한의 파rameter 오 overhead로 추가하면서도, 확장 컨볼루션에서 발생하는 그리드 아티팩트를 줄이기 위해 스무딩된 확장 기법을 사용하여 컨텍스트 집합 네트워크의 성능을 향상시키기 위해.
• 게이트드 서브넷을 통해 다중 수준 특징 간의 적응형 융합 가중치를 학습하여 특징 표현을 향상시키기 위해.
• 이 아키텍처의 일반성을 입증하기 위해 이미지 비 제거 작업에 성공적으로 적용하기 위해.

제안 방법

• 표준 확장 컨볼루션을 대체하기 위해 새로운 스무딩된 확장 모듈을 도입하여, 확장된 수신 필드를 통해 더 스무딩된 특징 전파를 보장함으로써 그리드 아티팩트를 감소시킨다.
• 다양한 인코더 스테이지의 특징에 대해 동적 융합 가중치를 학습하기 위해 게이트드 서브넷을 도입하여, 모델이 가장 관련성이 높은 문맥 정보에 집중할 수 있도록 한다.
• 확장 컨볼루션을 사용하는 잔차 블록 기반 아키텍처이며, 스무딩된 확장 연산을 적용하여 공간 일관성을 유지하고 시각적 아티팩트를 줄인다.
• 배치 정규화 대신 인스턴스 정규화를 사용하여, 특히 저조도 또는 복잡한 환경에서 특징 안정성과 성능을 향상시킨다.
• 중간 지도 학습이나 물리 모델 제약 조건 없이, 인지적 손실과 재구성 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 유사한 아키텍처를 사용하여 합성 된 비 오는 이미지 데이터셋을 활용해 이미지 비 제거 작업에 대해 미세조정함으로써, 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 엔드 투 엔드 네트워크가 어두운 채널 또는 대비 최대화와 같은 수작업으로 설계된 사전 지식에 의존하는 기존 방법보다 이미지 탈안개화에서 더 나은 성능을 내는가?
• RQ2 표준적으로 지수적으로 증가하는 확장 컨볼루션 대비 스무딩된 확장 컨볼루션을 사용할 경우 그리드 아티팩트가 현저히 감소하는가?
• RQ3 학습 가능한 게이트드 퓨전 메커니즘이 이미지 복원 작업에서 다중 스케일 특징의 특징 집합에 기여하는가?
• RQ4 제안된 GCANet 아키텍처가 탈안개화를 넘어서 비 제거와 같은 다른 이미지 복원 작업으로도 잘 일반화되는가?
• RQ5 스무딩된 확장, 게이트드 퓨전, 정규화 중 각 아키텍처 구성 요소가 성능 향상에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• GCANet는 RESIDE 탈안개화 벤치마크에서 PSNR 30.23을 기록하여 이전 최신 기술 수준 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 절단 분석 결과, 스무딩된 확장, 게이트드 퓨전, 인스턴스 정규화를 포함한 모든 구성 요소의 조합이 가장 높은 성능 향상을 가져왔으며, 기본 설정 대비 2.66 dB 향상되었다.
• 스무딩된 확장 리스블록은 그리드 아티팩트와 물체 경계 및 무늬 근처의 색상 이동을 효과적으로 줄였으며, 그림 5에서 시각적으로 확인되었다.
• 비 제거 작업에서 GCANet는 이전 최신 기술 수준 방법(DID-MDN)보다 PSNR가 3 dB 이상 높게 기록하여 강력한 일반화 능력을 보였다.
• 게이트드 퓨전 메커니즘은 더 나은 세부 사항 보존과 자연스러운 색상 정확도를 가능하게 하여, AOD-Net과 GFN과 같은 방법들보다 빛의 일관성과 안개 제거에서 뛰어난 성능을 보였다.
• 인스턴스 정규화는 배치 정규화보다 더 큰 성능 향상을 제공하여, 다양한 입력 조건 하에서도 특징 안정성이 향상됨을 시사한다.