[논문 리뷰] Lightweight Pyramid Networks for Image Deraining

Xueyang Fu, Borong Liang외 3명|arXiv (Cornell University)|2018. 05. 16.

Image Enhancement Techniques참고 문헌 38인용 수 10

한 줄 요약

이 논문은 단일 이미지 비정상 제거를 위한 파rameter 효율적인 딥러닝 프레임워크인 경량 피라미드 네트워크(LPNet)를 제안한다. 이는 가우시안-라플라시안 이미지 피라미드를 활용하여 작업을 더 단순한 하위 문제들로 분해한다. 각 피라미드 수준에 얕고, 잔차가 있으며, 재귀적인 하위 네트워크를 적용함으로써 LPNet은 8,000개 미만의 파라미터로 최신 기술 수준의 제거 성능를 달성한다. 이는 자원이 제한된 장치에 효율적으로 구현 가능하며, 다른 저수준 시각 작업으로의 일반화 가능성도 갖춘다.

ABSTRACT

Existing deep convolutional neural networks have found major success in image deraining, but at the expense of an enormous number of parameters. This limits their potential application, for example in mobile devices. In this paper, we propose a lightweight pyramid of networks (LPNet) for single image deraining. Instead of designing a complex network structures, we use domain-specific knowledge to simplify the learning process. Specifically, we find that by introducing the mature Gaussian-Laplacian image pyramid decomposition technology to the neural network, the learning problem at each pyramid level is greatly simplified and can be handled by a relatively shallow network with few parameters. We adopt recursive and residual network structures to build the proposed LPNet, which has less than 8K parameters while still achieving state-of-the-art performance on rain removal. We also discuss the potential value of LPNet for other low- and high-level vision tasks.

연구 동기 및 목표

• 높은 파라미터 수로 인해 모바일 및 엣지 디바이스에 딥 뉴럴 네트워크를 도입하는 데 어려움이 있는 단일 이미지 비정상 제거 문제를 해결한다.
• 각 척도에서 학습을 단순화하기 위해 도메인 특화의 이미지 피라미드 분해를 활용하여 단일 이미지 비정상 제거의 복잡성을 줄인다.
• 모델 크기와 추론 비용을 극도로 줄이면서도 높은 비정상 제거 성능을 유지하는 가벼운 네트워크 아키텍처를 설계한다.
• 이러한 아키텍처가 이미지 복원, 잡음 제거, 아티팩트 감소와 같은 다른 저수준 시각 작업으로의 일반화 잠재력을 탐색한다.
• 비정상 제거를 고수준 시각 작업(예: 비가 오는 조건에서의 객체 탐지)의 전처리 단계로 통합하여 성능 향상을 도모한다.

제안 방법

• 비가 내리는 이미지를 다중 척도 성분으로 분할하기 위해 가우시안-라플라시안 피라미드 분해를 적용하여 각 수준에서 학습 과제를 단순화한다.
• 층 간 파라미터 공유를 위해 얕고, 잔차가 있으며, 재귀적인 블록을 갖춘 가벼운 잔차 네트워크를 사용하여 총 파라미터 수를 최소화한다.
• 각 하위 네트워크를 해당 피라미드 수준에 대해 독립적으로 훈련하여 청소된 가우시안 피라미드 레이어를 예측한다.
• 모든 피라미드 수준에서 예측된 청소된 레이어를 병합하여 최종 비정상 제거된 이미지를 재구성한다.
• 구조적 세부 정보를 유지하고 과도하게 매끄럽게 만드는 것을 방지하기 위해 SSIM과 ℓ₁ 손실을 조합한 하이브리드 손실 함수를 사용한다.
• 훈련 중 기울기 흐름과 특징 전파를 향상시키기 위해 각 하위 네트워크에 스킵 연결을 통합한다.

실험 결과

연구 질문

• RQ1 가우시안-라플라시안 피라미드 분해가 단일 이미지 비정상 제거 문제의 학습 문제를 상당히 단순화할 수 있는가?
• RQ2 8,000개 미만의 파라미터를 갖는 가벼운 얕은 네트워크가 최신 기술 수준의 비정상 제거 성능를 달성할 수 있는가?
• RQ3 제안된 LPNet 아키텍처가 이미지 복원, JPEG 아티팩트 감소와 같은 다른 저수준 시각 작업으로 일반화되는가?
• RQ4 LPNet이 비가 오는 환경에서 객체 탐지와 같은 고수준 시각 시스템의 성능을 향상시킬 수 있는가?
• RQ5 SSIM과 ℓ₁ 손실을 조합함으로써 비정상 제거 결과의 시각적 품질과 구조적 유지 능력에 어떤 영향을 미치는가?

주요 결과

• LPNet는 단지 7,548개의 파라미터로 단일 이미지 비정상 제거에서 최신 기술 수준의 성능를 달성한다. 이는 기존의 딥 네트워크보다 상당히 적은 수준이다.
• 매우 작은 모델 크기를 유지하면서도 고품질의 비정상 제거 결과를 달성하여 모바일 및 임베디드 환경에 적합하다.
• 스킵 연결의 사용은 훈련 손실을 감소시키고 수렴 속도를 가속화하며, 훈련 곡선 비교를 통해 이를 입증한다.
• 하이브리드 손실 함수(SSI + ℓ₁)는 ℓ₂ 기반 손실에 비해 더 선명한 결과를 만들어내며, 가장자리와 질감의 유지 능력이 뛰어나다.
• LPNet는 다른 이미지 복원 작업으로의 일반화가 잘 되어 있으며, 이미지 잡음 제거와 JPEG 아티팩트 감소에서 뛰어난 성능을 보였다.
• Faster R-CNN에 통합되었을 때, LPNet은 비가 오는 조건에서 객체 탐지 정확도를 향상시켰으며, 1024×1024 이미지의 추론 시간이 0.3초만 증가하였다.