[논문 리뷰] DR-Net: Transmission Steered Single Image Dehazing Network with Weakly Supervised Refinement

Chongyi Li, Jichang Guo외 4명|arXiv (Cornell University)|2017. 12. 02.

Image Enhancement Techniques참고 문헌 31인용 수 5

한 줄 요약

DR-Net는 전송도 예측 서브넷, nebbing 제거 서브넷, 약한 지도 학습을 통한 정밀화 서브넷을 사용하는 딥러닝 기반 단일 이미지 화창화 네트워크입니다. 수동 하이퍼파라미터 조정 없이도 개선된 내성성, 세부 정보 유지, 색상 정확도를 확보하면서 종단 간 학습을 가능하게 하여 합성 및 실세계 이미지에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

Despite the recent progress in image dehazing, several problems remain largely unsolved such as robustness for varying scenes, the visual quality of reconstructed images, and effectiveness and flexibility for applications. To tackle these problems, we propose a new deep network architecture for single image dehazing called DR-Net. Our model consists of three main subnetworks: a transmission prediction network that predicts transmission map for the input image, a haze removal network that reconstructs latent image steered by the transmission map, and a refinement network that enhances the details and color properties of the dehazed result via weakly supervised learning. Compared to previous methods, our method advances in three aspects: (i) pure data-driven model; (ii) the end-to-end system; (iii) superior robustness, accuracy, and applicability. Extensive experiments demonstrate that our DR-Net outperforms the state-of-the-art methods on both synthetic and real images in qualitative and quantitative metrics. Additionally, the utility of DR-Net has been illustrated by its potential usage in several important computer vision tasks.

연구 동기 및 목표

• 기존 단일 이미지 화창화 방법의 한계, 즉 수작업으로 설계된 사전 지식에 의존하고 단계 간 누적 오류가 발생하는 문제를 해결하기 위해.
• 수작업된 사전 지식에 의존하지 않고 데이터 중심의 종단 간 딥러닝 프레임워크를 개발하여 다양한 화창한 환경에서 시각적 품질과 내성성을 향상시키기 위해.
• 픽셀 수준의 애너테이션을 필요로 하지 않고도 이미지 수준의 지도 학습을 통해 세부 정보와 색상 정확도를 향상시키기 위해.
• 다양한 화창한 조건에 대한 수동 파rameter 조정에 의존도를 줄여 실용적 적용성을 높이기 위해.

제안 방법

• 네트워크는 전송도 예측, 화창함 제거, 정밀화의 세 개의 서브넷으로 구성되어 종단 간 학습을 가능하게 합니다.
• 전달도 예측 서브넷은 깊은 합성곱 레이어를 사용하여 입력 화창한 이미지에서 전달도 맵을 추정합니다.
• 화창함 제거 서브넷은 예측된 전달도 맵을 조향 신호로 사용하여 잠재적인 클리어 이미지를 재구성합니다.
• 정밀화 서브넷은 이미지 수준의 지도 학습만을 사용하여 이미지 간 번역을 통해 세부 정보와 색상을 향상시킵니다.
• 전체 네트워크는 재구성 및 지각 품질을 최적화하는 병합 손실 함수를 사용하여 종단 간으로 학습됩니다.
• 가이드 필터링과 같은 후처리 단계를 회피함으로써 오류 전파를 줄이고 학습 수렴을 향상시킵니다.

실험 결과

연구 질문

• RQ1 수작업된 사전 지식에 의존하는 전통적 방법보다 순수 데이터 기반의 종단 간 딥러닝 프레임워크가 단일 이미지 화창화에서 더 나은 성능을 내는가?
• RQ2 전달도 맵을 조향 신호로 통합함으로써 화창화 성능과 학습 안정성은 어떻게 향상되는가?
• RQ3 밀도 높은 애너테이션 없이도 약한 지도 학습 기반 정밀화가 얼마나 높은 시각적 품질 향상에 기여하는가?
• RQ4 제안된 아키텍처는 무거운 화창, 흰색 물체, 저조도 조건과 같은 도전적인 케이스를 포함한 실세계 화창 이미지에 잘 일반화되는가?

주요 결과

• DR-Net는 합성 및 실세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성하여 정성적 및 정량적 지표에서 이전 방법을 능가합니다.
• 무거운 화창, 화창하지 않은 이미지, 흰색 물체가 있는 장면과 같은 도전적인 케이스에 대해 잘 일반화되어 과도한 강조나 색상 이탈을 방지합니다.
• 전달도 예측 서브넷을 제거하면 학습 수렴과 최종 결과 품질이 크게 악화되어, 이 서브넷이 화창화 과정을 안내하는 데 긍정적인 역할을 한다는 것을 확인합니다.
• 약한 지도 학습 기반 정밀화 서브넷은 SURF 키포인트 매칭 비율 향상과 객체 검출 정확도 향상으로써 대비하여 대비되는 대비 및 색상 정확도 향상을 효과적으로 향상시킵니다.
• DR-Net는 다양한 화창 농도에 대해 감마 또는 기타 파rameter의 수동 조정이 필요 없어 실용적 사용성을 높입니다.
• 키포인트 매칭 및 객체 검출과 같은 응용 분야에서 DR-Net은 후속 비전 작업을 향상시키며, 원본 화창 이미지 쌍 대비 정밀화된 쌍에서 344개의 SURF 매칭을 기록합니다.