[논문 리뷰] Learning Aggregated Transmission Propagation Networks for Haze Removal and Beyond

Risheng Liu, Xin Fan외 4명|arXiv (Cornell University)|2017. 11. 18.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 단일 이미지 화소 제거를 위한 물리적 사전 지식과 데이터 기반 학습을 통합하는 새로운 딥 리서지드 아키텍처인 딥 프로파게이션 어그리게이션 터널 네트워크(DPATN)를 제안한다. 변동 에너지 기반 프레임워크를 통해 전달성 전파를 모델링함으로써, DPATN은 경량 학습 체계와 글로벌 수렴 보장을 바탕으로 스모크 제거, 수중 강화, 비 제거에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Single image dehazing is an important low-level vision task with many applications. Early researches have investigated different kinds of visual priors to address this problem. However, they may fail when their assumptions are not valid on specific images. Recent deep networks also achieve relatively good performance in this task. But unfortunately, due to the disappreciation of rich physical rules in hazes, large amounts of data are required for their training. More importantly, they may still fail when there exist completely different haze distributions in testing images. By considering the collaborations of these two perspectives, this paper designs a novel residual architecture to aggregate both prior (i.e., domain knowledge) and data (i.e., haze distribution) information to propagate transmissions for scene radiance estimation. We further present a variational energy based perspective to investigate the intrinsic propagation behavior of our aggregated deep model. In this way, we actually bridge the gap between prior driven models and data driven networks and leverage advantages but avoid limitations of previous dehazing approaches. A lightweight learning framework is proposed to train our propagation network. Finally, by introducing a taskaware image separation formulation with a flexible optimization scheme, we extend the proposed model for more challenging vision tasks, such as underwater image enhancement and single image rain removal. Experiments on both synthetic and realworld images demonstrate the effectiveness and efficiency of the proposed framework.

연구 동기 및 목표

• 어떤 이미지에서는 가정(예: 어두운 채널, 스모크 선)이 성립하지 않을 경우 실패하는 이전 기반의 화소 제거 방법의 한계를 해결한다.
• 순수하게 데이터 기반의 딥 네트워크가 요구하는 데이터 양과 분포 민감성 문제를 해결하기 위해 물리 법칙을 아키텍처에 통합한다.
• 화소 제거를 넘어서 수중 영상 강화 및 비 제거와 같은 다른 저수준 시각 작업으로 일반화할 수 있는 통합된 딥 러닝 프레임워크를 개발한다.
• 변동 에너지 기반 시 perspect를 기반으로 전달성 전파를 정립하여 모델의 강건성과 수렴성을 확보한다.
• 경량 학습 프레임워크와 작업 인식 이미지 분리 모듈을 설계하여 복잡한 실제 환경의 열악한 품질 훼손 상황에서의 성능을 향상시킨다.

제안 방법

• 전달성 지ap 추정을 위해 물리적 사전 지식(예: 대기 산산이 흩어지는 모델)과 학습된 데이터 분포를 모두 통합하는 딥 리서지드 네트워크를 제안한다.
• 변동 에너지 기반 시 perspect를 사용하여 전달성 전파를 모델링함으로써, 이전 기반과 데이터 기반 접근 방식을 통합하고 물리적 일관성과 안정성을 확보한다.
• 최소한의 파라미터 오버헤드로 깊은 전파 네트워크를 효율적으로 최적화할 수 있는 경량 학습 프레임워크를 도입한다.
• 관측된 이미지를 전달성과 반사율 성분으로 분해할 수 있는 작업 인식 이미지 분리 공식을 설계하여 다양한 훼손 유형에의 적응성을 높인다.
• 이미지 분리 모듈에 대해 유연한 최적화 기법을 적용하여, 스모크 제거, 수중 강화, 비 제거와 같은 다중 작업의 공동 학습을 가능하게 한다.
• 변동 에너지 프레임워크 하에서 전달성 전파 과정의 글로벌 수렴을 증명함으로써 안정적인 추론을 보장한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 물리적 사전 지식과 데이터 기반 특징을 효과적으로 통합하여 단일 이미지 화소 제거에서 강건성을 향상시킬 수 있는가?
• RQ2 전달성 전파를 어떻게 모델링할 수 있는가? 이는 물리적 타당성을 유지하면서 동시에 엔드 투 엔드 학습이 가능하도록 해야 한다.
• RQ3 화소 제거를 위해 훈련된 통합된 딥 아키텍처가 수중 영상 강화 및 비 제거와 같은 다른 저수준 시각 작업으로 효과적으로 일반화될 수 있는가?
• RQ4 작업 인식 이미지 분리의 영향은 복잡한 훼손 상황에서 성능과 색상 균형에 어떤 영향을 미치는가?
• RQ5 제안된 변동 에너지 기반 공식이 전달성 전파 과정에서 수렴성과 안정성을 보장하는가?

주요 결과

• DPATN은 합성 및 실제 환경의 화소 제거 벤치마크에서 최신 기술 수준의 성능을 달성하여, 시각적 품질과 정량적 지표에서 이전 방법들을 능가한다.
• 작업 인식 이미지 분리의 통합은 가장자리 유지와 색상 균형 향상에 크게 기여하여 물체 경계에서의 스모크 잔여물 제거에 기여한다.
• 수중 영상 강화 작업에서는 Rahman 등, Chiang 등, Li 등과 비교해 블루/그린 톤 제거와 세밀한 디테일 유지 측면에서 DPATN이 뛰어난 성능을 보였다.
• 단일 이미지 비 제거 작업에서는 작업 인식 분리 기반 DPATN이 SR, DSC, LP와 비교해 비 줄무늬와 잔여 스모크를 모두 효과적으로 제거하여 뛰어난 결과를 달성했다.
• 제안된 프레임워크는 전달성 전파 과정의 글로벌 수렴을 입증하여 변동 에너지 기반 공식의 안정성을 검증했다.
• 실험 결과 경량 학습 프레임워크가 성능을 저하시키지 않으면서도 효율적인 최적화를 가능하게 하여, 실제 환경 구현에 실용적인 모델임을 입증했다.