[논문 리뷰] Image Dehazing using Bilinear Composition Loss Function

Hui Yang, Jinshan Pan외 4명|arXiv (Cornell University)|2017. 10. 01.

Image Enhancement Techniques참고 문헌 14인용 수 13

한 줄 요약

이 논문은 깊이 합성곱 신경망을 사용한 단일 이미지 복하화에 대해 이차적 조합 손실 함수를 제안하며, 전파 맵, 대기 빛, 청명한 이미지 추정을 동시에 최적화하여 노이즈와 아티팩트를 감소시킨다. 이 방법은 특히 노이즈가 많고 압축된 복하 이미지에서 최신 기술보다 뛰어난 성능을 보이며, 구성 요소 간 상호의존성을 모델링하고 조합 오차를 동시에 역전파함으로써 성능을 향상시킨다.

ABSTRACT

In this paper, we introduce a bilinear composition loss function to address the problem of image dehazing. Previous methods in image dehazing use a two-stage approach which first estimate the transmission map followed by clear image estimation. The drawback of a two-stage method is that it tends to boost local image artifacts such as noise, aliasing and blocking. This is especially the case for heavy haze images captured with a low quality device. Our method is based on convolutional neural networks. Unique in our method is the bilinear composition loss function which directly model the correlations between transmission map, clear image, and atmospheric light. This allows errors to be back-propagated to each sub-network concurrently, while maintaining the composition constraint to avoid overfitting of each sub-network. We evaluate the effectiveness of our proposed method using both synthetic and real world examples. Extensive experiments show that our method outperfoms state-of-the-art methods especially for haze images with severe noise level and compressions.

연구 동기 및 목표

• 저품질이며 극도로 복하된 이미지에서 노이즈와 아티팩트를 악화시키는 두 단계 복하 방법의 한계를 해결하기 위해.
• 이미지 노이즈와 압축 효과를 복하 수식에 통합하여 물리적 이미지 형성 과정을 더 정확히 모델링하기 위해.
• 심한 노이즈와 압축 아티팩트를 동반한 실세계 복하 이미지에서의 복하 성능 향상시키기 위해.
• 전파 맵, 대기 빛, 복하 이미지 추정을 동시에 최적화하는 통합 딥 러닝 프레임워크 개발하기 위해.

제안 방법

• 노이즈를 고려하여 대기 빛을 공간적으로 변하는 것으로 만든 수정된 이미지 형성 모델을 도입: I(x) = J(x)T(x) + A'(x)(1 - T(x)), 여기서 A'(x)는 노이즈 영향을 흡수한다.
• 학습 중에 물리적 조합 제약 조건 J(x)T(x) + A'(x)(1 - T(x)) = I(x)를 강제하는 이차적 조합 손실 함수를 제안한다.
• 전파 맵 T(x)와 대기 빛 A'(x)를 동시에 추정할 수 있도록 이차적 네트워크를 사용하며, 오차를 두 하위 네트워크로 역전파할 수 있도록 한다.
• 조각별로 부드러운 전파 맵을 강제하기 위해 전파 맵 출력에 가이드 필터링을 적용하며, 필터를 통한 오차 역전파도 함께 수행한다.
• 이차적 네트워크 이후 별도의 이미지 향상 네트워크를 적용하여 잔여 노이즈를 추가로 억제하고 시각적 품질을 향상시킨다.
• 과적합을 방지하기 위해 NYU2 데이터셋의 실제 깊이 맵을 사용하여 더 현실적인 합성 복하 훈련 데이터를 생성한다.

실험 결과

연구 질문

• RQ1 이차적 조합 손실을 사용한 공동 최적화 프레임워크가 두 단계 방법에 비해 노이즈가 많고 압축된 복하 이미지에서 복하 성능을 향상시키는가?
• RQ2 상수(A)가 아닌 공간적으로 변하는(A'(x)) 대기 빛을 모델링할 경우, 이미지 노이즈에 대한 복하 강인성은 어떻게 영향을 받는가?
• RQ3 오차 역전파를 통한 가이드 필터링은 전파 맵 품질 향상과 헬로 아티팩트 감소에 어느 정도 기여하는가?
• RQ4 A를 3채널 벡터로 학습할 경우, 모델이 이미지 고유의 아티팩트를 더 잘 포착하고 과다 복하를 방지하는 데 기여하는가?
• RQ5 합성 데이터셋의 비현실적인 깊이 가정 대비 NYU2의 실제 깊이 맵을 사용할 경우, 일반화 능력과 복하 결과의 시각적 품질은 어떻게 영향을 받는가?

주요 결과

• 제안된 방법은 합성 및 실세계 복하 이미지에서 최신 기술보다 뛰어난 성능을 보이며, 특히 높은 노이즈와 압축을 동반한 시나리오에서 두각을 나타낸다.
• 이차적 조합 손실은 전파 및 대기 빛 네트워크 양쪽으로 오차 역전파를 효과적으로 가능하게 하여 과적합을 감소시키고 일반화 능력을 향상시킨다.
• 가이드 필터링은 헬로 아티팩트를 크게 감소시키며, 필터를 통한 오차 역전파가 함께 적용될 경우 더 깔끔한 전파 맵을 얻을 수 있다.
• 이 방법은 노이즈를 대기 빛 구성 요소로 효과적으로 분리하여, 단일 프레임워크 내에서 암묵적인 복하 및 노이즈 제거를 달성한다.
• NYU2에서의 실제 깊이 맵을 사용하여 데이터를 합성할 경우, 특히 하늘 영역에서 비현실적인 깊이 가정을 가진 합성 데이터셋에 비해 더 자연스러운 복하 이미지를 얻을 수 있다.
• 향상 네트워크는 잔여 노이즈를 효과적으로 억제하여 최종 이미지 품질을 향상시키며, 새로운 아티팩트를 유발하지 않는다.