[논문 리뷰] Neural Sparse Representation for Image Restoration

Yuchen Fan, Jiahui Yu외 5명|arXiv (Cornell University)|2020. 06. 08.

Advanced Image Processing Techniques참고 문헌 21인용 수 9

한 줄 요약

이 논문은 신경망의 은닉 뉘런에 대해 구조적 희소성(structural sparsity)을 강제하는 Neural Sparse Representation(이하 NSR)을 제안한다. 이 방법은 채널을 그룹화하고, 학습 가능한 보조 네트워크를 통해 한 번에 하나의 그룹만 활성화함으로써 이를 실현한다. 이 접근법은 상당한 계산량 절감을 가능하게 하며, 거의 추가 비용 없이 모델 용량을 증가시키고, 정확도를 저하시키지 않은 채 이미지 초해상도, 노이즈 제거, 압축 아티팩트 제거 등 다양한 작업에서 성능 향상을 이룬다.

ABSTRACT

Inspired by the robustness and efficiency of sparse representation in sparse coding based image restoration models, we investigate the sparsity of neurons in deep networks. Our method structurally enforces sparsity constraints upon hidden neurons. The sparsity constraints are favorable for gradient-based learning algorithms and attachable to convolution layers in various networks. Sparsity in neurons enables computation saving by only operating on non-zero components without hurting accuracy. Meanwhile, our method can magnify representation dimensionality and model capacity with negligible additional computation cost. Experiments show that sparse representation is crucial in deep neural networks for multiple image restoration tasks, including image super-resolution, image denoising, and image compression artifacts removal. Code is available at https://github.com/ychfan/nsr

연구 동기 및 목표

• 딥 뉴럴 네트워크의 은닉 표현에서 의미 있는 희소성을 달성하는 데 도전하는 것.
• 계산 비용을 줄이기 위해 뉘런 희소성과 함께 고차원 표현 용량을 유지하는 것.
• 표준 컨볼루션 레이어에 희소성 제약을 통합할 수 있는 미분 가능하고 종단 간(end-to-end) 학습이 가능한 모듈을 개발하는 것.
• 은닉 뉘런에서의 구조적 희소성이 다양한 이미지 복원 작업에서 모델의 효율성과 성능을 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 은닉 특징 맵을 채널 그룹으로 나누고, 부드럽고 미분 가능한 선택 메커니즘을 통해 한 번에 하나의 그룹만 활성화하도록 희소성을 강제한다.
• 맥락 특징에 기반해 어느 뉘런 그룹을 활성화할지 예측하기 위해 작은 보조 네트워크를 사용함으로써 적응형 희소성을 실현한다.
• 경직된 희소성 선택을 다수의 컨볼루션 커널에 대한 희소 선형 조합을 통해 부드럽고 미분 가능한 근사로 완화한다.
• 희소성 예측을 하위 문제들로 분해하기 위해 카디널리티 차원을 도입함으로써 학습 안정성과 확장성 향상을 도모한다.
• EDSR 및 잔차 네트워크를 포함한 다양한 아키텍처에서 표준 컨볼루션 레이어의 플러그인 대체 모듈로 NSR 모듈을 통합한다.
• 추론 시 비영인 뉘런 그룹만 운영함으로써 고대역폭 표현 능력을 유지하면서도 계산량을 줄인다.

실험 결과

연구 질문

• RQ1 은닉 뉘런에서의 구조적 희소성이 딥 러닝 기반 이미지 복원에서 성능과 효율성을 향상시킬 수 있는가?
• RQ2 피드포워드 딥 네트워크 내에서 희소성을 어떻게 미분 가능하고 학습 가능한 방식으로 강제할 수 있는가?
• RQ3 은닉 표현에서의 희소성이 최소한의 계산 비용으로 더 높은 모델 용량을 가능하게 하는가?
• RQ4 제안된 방법이 FLOPs를 줄이며 이미지 초해상도, 노이즈 제거, 압축 아티팩트 제거에서 기존 모델을 능가할 수 있는가?
• RQ5 희소성이 딥 네트워크에서 표현 차원과 모델 정확도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 NSR 모듈은 추가 계산 비용이 거의 없이 기준 모델 대비 4배 높은 모델 용량을 달성한다.
• EDSR(S) 아키텍처에서 4개의 희소성 그룹과 16의 카디널리티를 가진 sparse+ 모델은 모든 벤치마크에서 기준 모델을 능가한다. 이는 파라미터 수가 4배 증가했음에도 불구하고 성능 향상을 이룬다.
• 대규모 EDSR(L) 모델에서는 sparse- 버전이 기준 모델과 유사한 정확도를 유지하면서도 FLOPs를 4배 줄였다. 모델 크기는 동일하다.
• 노이즈 제거 작업에서는 sparse+ 모델이 모델 용량을 2배로 늘리고 기준 모델 대비 PSNR를 0.08 dB 향상시켰으며, 계산량은 2배 감소시켰다.
• 압축 아티팩트 제거 작업에서는 DnCNN 및 ARCNN보다 더 높은 PSNR를 달성했고, FLOPs는 45% 줄였다. 이는 뛰어난 효율성을 입증한다.
• 시각화 결과는 NSR 모듈이 의미 있는 구조적 희소성 패턴을 학습하여 다양한 작업에서 표현 학습을 향상시킨다는 점을 확인한다.