[논문 리뷰] Phase Transitions in Image Denoising via Sparsely Coding Convolutional Neural Networks

Jacob Carroll, N. W. Carlson외 1명|arXiv (Cornell University)|2017. 10. 26.

Theoretical and Computational Physics참고 문헌 2인용 수 4

한 줄 요약

이 논문은 이미지 디노이징 중에 희박하게 코드화하는 컨volutional 신경망에서 연속적인 상전이를 규명하였으며, 유한한 크기 스케일링을 통해 복원 오차와 희박성에서의 거듭제곱 법칙 행동을 입증하였다. 네트워크를 임계 희박성 점으로 조정함으로써 모든 시스템 크기에서 최적의 디노이징 성능을 달성하였으며, 임계성 기반 설계를 통해 최소 복원 오차를 달성하였다.

ABSTRACT

Neural networks are analogous in many ways to spin glasses, systems which are known for their rich set of dynamics and equally complex phase diagrams. We apply well-known techniques in the study of spin glasses to a convolutional sparsely encoding neural network and observe power law finite-size scaling behavior in the sparsity and reconstruction error as the network denoises 32$ imes$32 RGB CIFAR-10 images. This finite-size scaling indicates the presence of a continuous phase transition at a critical value of this sparsity. By using the power law scaling relations inherent to finite-size scaling, we can determine the optimal value of sparsity for any network size by tuning the system to the critical point and operate the system at the minimum denoising error.

연구 동기 및 목표

• 희박하게 코드화하는 컨volutional 신경망이 이미지 디노이징 중에 상전이를 나타내는가를 조사하는 것.
• 유한한 크기 스케일링 분석을 통해 복원 오차와 희박성의 행동이 연속적(두 번째 순서) 상전이를 나타내는가를 판단하는 것.
• 다양한 네트워크 크기에서 디노이징 오차를 최소화하는 임계 희박성 점을 규명하는 것.
• 유한한 크기 스케일링에서 유도된 임계 지수를 활용하여 어떤 네트워크 크기의 최적 희박성도 예측하는 것.

제안 방법

• PetaVision을 사용하여 희박하게 코드화하는 컨볼루션 신경망을 구축하고, CIFAR-10 이미지에 대해 국소적으로 경쟁적인 알고리즘(LCA)을 통해 훈련하였다.
• 고가우시안 노이즈로 손상된 32×32 RGB 이미지를 복원하기 위해 희박하게 코드화하는 컨볼루션 레이어를 갖춘 디노이징 네트워크를 사용하였다.
• 규제 파라미터 λ를 통해 활성 뉴런의 희박성을 조절하여 은닉층 내 활성 뉴런의 비율을 제어하였다.
• 다양한 네트워크 크기(L)에서 평균 퍼센트 복원 오차(P_err)와 활성 뉴런의 비율을 측정하였다.
• 유한한 크기 스케일링 분석을 적용하여 P_err의 극소를 확인하고, 이러한 극소의 위치와 높이에 대한 거듭제곱 법칙 관계를 피팅하였다.
• 스케일링 행동에 대해 임계 지수 ν̄ = 1.32 ± 0.04와 γ̄ = 0.0099 ± 0.0095를 피팅하여 연속적인 상전이를 확인하였다.

실험 결과

연구 질문

• RQ1 희박하게 코드화하는 컨볼루션 신경망의 복원 오차는 네트워크 크기의 함수로 유한한 크기 스케일링을 보이는가?
• RQ2 디노이징 오차가 최소가 되는 임계 희박성 수준가 존재하는가? 이는 상전이를 시사하는가?
• RQ3 오차 극소의 위치와 높이가 시스템 크기와 함께 거듭제곱 법칙 스케일링을 따르는가? 이는 연속적인 상전이와 일치하는가?
• RQ4 유한한 크기 스케일링에서 유도된 임계 지수를 활용하여 어떤 네트워크 크기의 최적 희박성도 예측할 수 있는가?

주요 결과

• 희박하게 코드화하는 컨볼루션 네트워크의 디노이징 성능에서 연속적(두 번째 순서) 상전이가 발생한다.
• 최소 복원 오차는 시스템 크기와 함께 거듭제곱 법칙 스케일링을 보이며, 유한한 크기 스케일링 법칙을 만족한다(식 1 및 식 2).
• 최소 오차의 위치에 대해 측정된 임계 지수 ν̄ = 1.32 ± 0.04는 임계점이 시스템 크기와 함께 이동함을 나타낸다.
• 최소 오차의 높이에 대해 측정된 임계 지수 γ̄ = 0.0099 ± 0.0095는 임계점에서의 특이성 유사 행동을 확인한다.
• 거듭제곱 법칙 스케일링 덕분에 임계점으로 조정함으로써 어떤 네트워크 크기의 최적 희박성도 예측할 수 있다.
• 임계 희박성에서 네트워크를 운영하면 모든 시스템 크기에서 최소 디노이징 오차를 확보할 수 있으며, 이는 보편적인 최적화를 가능하게 한다.