[논문 리뷰] Degrees of Freedom Analysis of Unrolled Neural Networks

Morteza Mardani, Qingyun Sun외 4명|arXiv (Cornell University)|2019. 06. 10.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 5

한 줄 요약

이 논문은 이미지 복원 작업에서 일반화 위험을 정량화하기 위해 슈타인의 비편향 리스크 추정법(SURE)을 사용하여 편향 없는 신경망의 자유도(DOF) 분석을 제안한다. DOF는 종단 간 네트워크 자코비안의 따라 정의되며, 비일관성 조건 하에서 가중 경로 희소성에 의해 잘 근사됨을 증명하고, 실험적으로 반복적 가중치 공유 설계가 비반복적 대안보다 더 적은 학습 샘플로 더 빠르게 일반화됨을 보여주며, 저자료 환경에서 반복성이 효과적인 정규화 요소임을 입증한다.

ABSTRACT

Unrolled neural networks emerged recently as an effective model for learning inverse maps appearing in image restoration tasks. However, their generalization risk (i.e., test mean-squared-error) and its link to network design and train sample size remains mysterious. Leveraging the Stein's Unbiased Risk Estimator (SURE), this paper analyzes the generalization risk with its bias and variance components for recurrent unrolled networks. We particularly investigate the degrees-of-freedom (DOF) component of SURE, trace of the end-to-end network Jacobian, to quantify the prediction variance. We prove that DOF is well-approximated by the weighted extit{path sparsity} of the network under incoherence conditions on the trained weights. Empirically, we examine the SURE components as a function of train sample size for both recurrent and non-recurrent (with many more parameters) unrolled networks. Our key observations indicate that: 1) DOF increases with train sample size and converges to the generalization risk for both recurrent and non-recurrent schemes; 2) recurrent network converges significantly faster (with less train samples) compared with non-recurrent scheme, hence recurrence serves as a regularization for low sample size regimes.

연구 동기 및 목표

• 제한된 학습 데이터 하에서 이미지 복원 작업에서 비틀린 신경망의 일반화 위험을 이해하기 위해.
• 슈타인의 비편향 리스크 추정법(SURE)의 자유도(DOF) 성분을 사용하여 비틀린 네트워크의 예측 분산을 정량화하기 위해.
• 특히 반복적 설계에서의 가중치 공유와 비반복적 설계에서의 가중치 변경이 일반화 성능에 미치는 영향을 분석하기 위해.
• 학습된 가중치에 대한 비일관성 조건 하에서 DOF와 가중 경로 희소성 사이의 이론적 연결을 수립하기 위해.
• 노이즈 제거 및 흐림 제거 작업에 대해 SURE 프레임워크를 실험적으로 검증하고, 반복적 및 비반복적 비틀린 네트워크를 비교하기 위해.

제안 방법

• 일반화 평균 제곱 오차를 잔차 제곱합(RSS)과 자유도(DOF)로 분해하기 위해 슈타인의 비편향 리스크 추정법(SURE)을 활용한다.
• DOF를 종단 간 네트워크 자코비안의 따라 정의하며, 이는 예측 불확실성을 캡처한다.
• 학습된 가중치에 대한 비일관성 조건 하에서 DOF의 이론적 근사치를 가중 경로 희소성의 관점에서 유도한다.
• 단일층 잔차 유닛과 스킵 연결을 사용하여 비틀린 네트워크 아키텍처에서 노이즈 제거기를 모델링한다.
• 두 가지 방법을 비교한다: 가중치 공유를 갖는 반복 네트워크(WS)와 가중치를 변경하는 비반복 네트워크(WC)이며, 이들의 SURE 성분을 분석한다.
• 스펙트럼 분석과 주파수 응답 해석을 활용하여 WS 및 WC 네트워크의 필터링 행동을 비교한다.

실험 결과

연구 질문

• RQ1 비틀린 신경망의 자유도(DOF)는 저자료 환경에서 일반화 위험과 어떻게 관련이 있는가?
• RQ2 학습된 가중치에 대한 비일관성 조건 하에서 DOF는 가중 경로 희소성에 의해 정확하게 근사될 수 있는가?
• RQ3 학습 샘플 수에 따라 반복적(가중치 공유)과 비반복적(가중치 변경) 비틀린 네트워크 아키텍처의 일반화 성능는 어떻게 비교되는가?
• RQ4 라벨이 부족한 상황에서 반복성은 일반화 오차를 정규화하는 데 어떤 역할을 하는가?
• RQ5 주파수 스펙트럼 분석을 통해 드러나는 바와 같이, WS 및 WC 네트워크의 학습된 프록시미티 연산자는 필터링 행동에서 어떻게 다를까?

주요 결과

• DOF는 학습 샘플 수가 증가함에 따라 증가하며, 반복적 및 비반복적 방법 모두에서 결국 일반화 위험으로 수렴한다.
• 학습 데이터가 부족할 경우 반복적 가중치 공유(WS) 네트워크가 비반복적 가중치 변경(WC) 네트워크보다 훨씬 낮은 일반화 위험을 기록하며, 이는 반복성이 정규화 요소로 작용함을 시사한다.
• WS와 WC 방법 간의 SURE 갭은 낮은 샘플 수에서 가장 크며, 학습 데이터가 증가함에 따라 점차 줄어들고 결국 수렴한다.
• 학습된 가중치에 대한 비일관성 조건 하에서 가중 경로 희소성이 DOF를 잘 근사하며, 이는 일반화 위험의 실용적 대체 측정법이 된다.
• WS 네트워크는 주파수 도메인에서 밴드패스 필터링 행동을 보이며, WC 네트워크는 저통과 밴드패스 필터링을 번갈아가며 나타내어, 서로 다른 노이즈 제거 역학을 가짐을 시사한다.
• 실제 자연 이미지의 흐림 제거 작업에서 WS 네트워크가 WC 네트워크보다 더 높은 PSNR를 기록하며, 저자료 환경에서 뛰어난 일반화 성능을 확인한다.