[논문 리뷰] Fully Point-wise Convolutional Neural Network for Modeling Statistical Regularities in Natural Images

Jing Zhang, Yang Cao외 3명|arXiv (Cornell University)|2018. 01. 19.

Image Enhancement Techniques참고 문헌 45인용 수 9

한 줄 요약

이 논문은 입력 픽셀을 셔플링하여 분포 통계를 유지하면서 공간적 구조를 제거함으로써 자연 이미지의 통계적 규칙성을 모델링하는 완전히 포인트와이즈 컨볼루션 신경망(FPCNet)을 제안한다. 셔플된 입력에 대해 오직 1×1 컨볼루션을 사용함으로써 FPCNet은 파라미터와 계산량을 10×–100× 감소시키면서도 색상 일관성 및 이미지 흐림 제거 작업에서 최신 기술 수준의 성능을 유지하거나 초월한다.

ABSTRACT

Modeling statistical regularity plays an essential role in ill-posed image processing problems. Recently, deep learning based methods have been presented to implicitly learn statistical representation of pixel distributions in natural images and leverage it as a constraint to facilitate subsequent tasks, such as color constancy and image dehazing. However, the existing CNN architecture is prone to variability and diversity of pixel intensity within and between local regions, which may result in inaccurate statistical representation. To address this problem, this paper presents a novel fully point-wise CNN architecture for modeling statistical regularities in natural images. Specifically, we propose to randomly shuffle the pixels in the origin images and leverage the shuffled image as input to make CNN more concerned with the statistical properties. Moreover, since the pixels in the shuffled image are independent identically distributed, we can replace all the large convolution kernels in CNN with point-wise ($1*1$) convolution kernels while maintaining the representation ability. Experimental results on two applications: color constancy and image dehazing, demonstrate the superiority of our proposed network over the existing architectures, i.e., using 1/10$\sim$1/100 network parameters and computational cost while achieving comparable performance.

연구 동기 및 목표

• 부족한 이미지 처리 작업에서 자연 이미지의 통계적 규칙성을 모델링하는 과제를 해결하기 위해.
• 표준 CNN이 국소적 구조적 특징에 집중하고 영역 내외의 강도 변동성으로 인해 통계적 표현을 일반화하지 못하는 한계를 극복하기 위해.
• 성능을 희생시키지 않고 딥러닝 기반 통계 모델링의 계산 비용과 모델 복잡도를 감소시키기 위해.
• 픽셀 셔플링을 통한 통계적 불변성으로 표현 능력을 유지하는 경량이고 효율적인 아키텍처를 개발하기 위해.

제안 방법

• 입력 이미지의 픽셀을 셔플링하여 공간적 구조는 파괴하면서 통계적 성질을 유지하는 픽셀 엔semble을 생성한다.
• 셔플된 이미지를 CNN의 입력으로 사용함으로써 네트워크가 국소 패턴이 아닌 통계 분포에 집중하도록 한다.
• 모든 큰 커널 컨볼루션을 1×1(포인트와이즈) 컨볼루션으로 대체하며, 셔플된 픽셀의 i.i.d. 성질에 의해 이는 정당화된다.
• 모든 컨볼루션 레이어에 1×1 커널을 사용하는 완전히 포인트와이즈 CNN 아키텍처(FPCNet)를 구축함으로써 파라미터와 FLOPs를 극적으로 감소시킨다.
• 맥스 풀링과 활성화 맵을 활용하여 학습된 통계적 규칙성을 추출하고 시각화하며, 흐림 제거 작업에서의 투과도 맵과 같은 요소를 포함한다.
• 표준 손실 함수를 사용하여 색상 일관성 및 이미지 흐림 제거 등의 최종 작업을 위한 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 픽셀 셔플링은 공간적 구조를 제거하면서도 자연 이미지의 통계적 규칙성을 유지할 수 있는가?
• RQ2 오직 1×1 컨볼루션만을 사용하는 완전히 포인트와이즈 CNN 아키텍처가 표현 능력을 유지할 수 있는가?
• RQ3 FPCNet은 통계적 이미지 처리 작업에서 성능을 유지하면서 모델 복잡도와 추론 비용을 얼마나 줄일 수 있는가?
• RQ4 FPCNet이 학습한 통계적 표현은 실제 및 합성 데이터에서 이전 방법과 비교해 정확도와 강건성 측면에서 어떻게 다른가?

주요 결과

• FPCNet은 이미지 흐림 제거 작업에서 DehazeNet과 AODNet과 같은 최신 기술 수준의 방법들과 유사한 성능을 달성하며, 파라미터는 3.5%, 계산 비용은 2.62%에 불과하다.
• 합성 안개가 낀 이미지에서 FPCNet-DH는 PSNR 21.17, SSIM 0.8733을 기록했으며, DCP(PSNR: 20.16, SSIM: 0.8611)와 DehazeNet(PSNR: 20.29, SSIM: 0.8680)를 모두 능가한다.
• 실제 안개가 낀 이미지에서 예측된 투과도 맵의 MSE는 FPCNet-DH가 1.17×10⁻²이며, DehazeNet은 1.20×10⁻², DCP는 2.41×10⁻²이다.
• FPCNet은 단일 640×480 이미지를 3ms 내로 처리하며, DehazeNet(466ms)과 AODNet(4.3ms)에 비해 훨씬 빠른 추론 효율성을 보여준다.
• 시각적 점검 결과 FPCNet은 더 효과적인 통계적 규칙성을 학습하며, 최소 채널 값의 누적 분포가 더 급격한 경향을 보여, 핵심 픽셀을 더 잘 샘플링하고 있음을 시사한다.
• 풀링 반응의 가중 히스토GRAM을 통한 시각화된 네트워크의 학습 표현은 낮은 값 쪽으로 더 강하게 집중되어 있으며, 안개 투과도의 물리적 사전 지식과 일치한다.