[논문 리뷰] Rethinking the CSC Model for Natural Images

Dror Simon, Michael Elad|arXiv (Cornell University)|2019. 09. 12.

Sparse and Compressive Sensing Techniques인용 수 28

한 줄 요약

이 논문은 스트라이드 컨볼루션을 사용하여 컨volutional 스퍼스 코딩(CSC) 모델의 베이지안 MMSE 근사법을 활용하는 피드포워드 딥 네트워크인 CSCNet을 제안한다. 이는 파rameter 수를 크게 줄였음에도 불구하고 최신 기술 수준의 이미지 노이즈 제거 성능을 달성한다. 노이즈가 많은 환경에서의 CSC 모델의 한계를 재고하고, 패치 평균화를 모티프로 삼은 MMSE 프레임워크에 기반함으로써, DnCNN 및 FFDNet과 유사한 PSNR 점수를 달성하면서도 오직 63,700개의 파라미터만을 사용한다. 이는 CSC를 통한 구조적 스퍼시티를 현대 딥 러닝에서 배치 정규화나 파라미터 수가 많은 아키텍처 없이도 효과적으로 활용할 수 있음을 보여준다.

ABSTRACT

Sparse representation with respect to an overcomplete dictionary is often used when regularizing inverse problems in signal and image processing. In recent years, the Convolutional Sparse Coding (CSC) model, in which the dictionary consists of shift-invariant filters, has gained renewed interest. While this model has been successfully used in some image processing problems, it still falls behind traditional patch-based methods on simple tasks such as denoising. In this work we provide new insights regarding the CSC model and its capability to represent natural images, and suggest a Bayesian connection between this model and its patch-based ancestor. Armed with these observations, we suggest a novel feed-forward network that follows an MMSE approximation process to the CSC model, using strided convolutions. The performance of this supervised architecture is shown to be on par with state of the art methods while using much fewer parameters.

연구 동기 및 목표

• 이미지 복원 작업, 특히 노이즈 제거에서 기존의 컨volutional 스퍼스 코딩(CSC) 모델이 패치 기반 방법보다 성능이 열 劣하는 문제를 해결하기 위해.
• 특히 추가 노이즈 조건 하에서 자연 이미지를 모델링할 때 CSC의 이론적 및 실용적 한계를 분석하고, 패치 기반 평균화(PA) 기법과의 비교를 통해 그 원인을 규명하기 위해.
• CSC의 구조적 및 이론적 이점을 유지하면서도 노이즈 환경에서의 약점을 보완하는 지도 기반 피드포워드 딥 네트워크를 개발하기 위해.
• 최신 기술 수준의 노이즈 제거 성능을 달성할 수 있는 최소한의 파라미터를 가진, 잔차 구조나 정규화를 포함하지 않는 딥 네트워크가 CSC 기반으로도 성능을 충분히 확보할 수 있음을 입증하기 위해.

제안 방법

• 표준 스퍼스 코딩 추적 기법을 대체하여 노이즈에 더 잘 대응하는 확률적 추론 프레임워크를 도입함으로써, CSC 모델의 베이지안 MMSE 근사법을 수립한다.
• 스트라이드 컨볼루션을 사용한 피드포워드 신경망 아키텍처를 제안하여 MMSE 근사법을 구현하며, 필터 가중치는 백프로파게이션을 통해 엔드 투 엔드로 학습한다.
• 네트워크 구조는 CSC의 이동 불변성과 전역 스퍼시티 사전을 유지하도록 설계되었으며, 최종 레이어는 필터링 및 재구성된 패치들의 가중 조합을 통해 노이즈 제거된 이미지 추정치를 산출한다.
• BSD68 데이터셋에서 평균 제곱오차(MSE) 손실을 사용하여 모델을 학습하며, 고정된 학습률 10^-4를 사용하고 매 50 에포크마다 감소시키며, 발산을 방지하기 위해 엡실론 적응형 옵티마이저를 적용한다.
• 배치 정규화를 회피함으로써 CSC 사전의 순수성을 유지하고, 파라미터 수가 깊이에 따라 증가하지 않고 필터의 수와 크기만에 비례하도록 설계한다.
• 3채널 필터를 사용하고 color-BSD68 데이터셋에서 학습함으로써 컬러 이미지 노이즈 제거에 확장하였으며, 최고 성능을 유지하였다.

실험 결과

연구 질문

• RQ1 초상화나 융합과 같은 다른 역문제에서는 성공을 거두지만, 이미지 노이즈 제거에서는 성능이 열 劣하는 표준 CSC 모델의 원인은 무엇인가?
• RQ2 패치 기반 방법에서의 패치 평균화(PA) 기법이 노이즈 환경에서 왜 CSC를 능가하는가? 그 배경 메커니즘은 무엇인가?
• RQ3 CSC 모델의 베이지안 MMSE 근사법이 PA의 성능 이점을 회복하면서도 CSC의 전역적, 이동 불변성 구조를 유지할 수 있는가?
• RQ4 최소한의 파라미터, 비잔티지, 비정규화 딥 네트워크 기반의 CSC 모델이 DnCNN 및 FFDNet과 같은 최신 기술 수준의 노이즈 제거기와 얼마나 유사한 성능을 낼 수 있는가?

주요 결과

• CSCNet은 BSD68 데이터셋에서 노이즈 수준 σ=25일 때 PSNR 29.11 dB를 기록하였으며, DnCNN 및 FFDNet과 동등한 성능을 달성하면서도 오직 63,700개의 파라미터만을 사용하였다. 이는 DnCNN(556k) 및 FFDNet(486k)보다도 훨씬 적은 수치이다.
• 스트라이드 컨volution 레이어의 최적 스트라이드 크기는 q=7 또는 q=8로 확인되었으며, 이는 패치 간 독립성과 상관관계 사이의 최적의 균형을 이룬다. q=1일 경우(28.74 dB) 및 q=11일 경우(28.9 dB) 성능이 저하됨을 확인하였다.
• 컬러 이미지 노이즈 제거의 경우, CSCNet은 σ=50일 때 28.00 dB의 PSNR를 기록하였으며, CBM3D를 능가하고 FFDNet 및 CDnCNN와 동등한 성능을 보였다. 이는 회색조를 넘어서 일반화된 성능을 보임을 시사한다.
• 모든 노이즈 수준에서 BM3D, WNNM, TNRD 및 MLP를 모두 능가하는 성능을 보였으며, 전통적 및 학습 기반 스퍼스 코딩 기반 기준보다 일관되게 향상됨을 입증하였다.
• 배치 정규화가 없어도 성능에 영향을 주지 않음으로써, MMSE를 통해 적절히 근사된 CSC 사전의 이론적 기반은 여전히 유효함을 확인하였다.
• 결과적으로 CSC 모델의 노이즈 제거 실패 원인은 본질적인 구조적 제약이 아니라, 비-최적의 추론 방식—특히 비-MMSE 추적 기법의 사용—에서 기인함을 시사한다.