[논문 리뷰] Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation

Reinhard Heckel, Mahdi Soltanolkotabi|arXiv (Cornell University)|2020. 05. 07.

Sparse and Compressive Sensing Techniques인용 수 27

한 줄 요약

이 논문은 압축 측정값에 대해 경사 하강법으로 최적화되는 훈련되지 않은 합성곱 신경망이, 명시적 정규화나 훈련 데이터 없이도 구조적 신호를 자연스럽게 복원함을 보여준다. 주요 기여는 경사 하강법이 측정값과 일치하는 가장 매끄러운 해로 수렴함을 이론적으로 증명한 것으로, 오직 네트워크 아키텍처와 최적화 역학만으로도 근미니멀한 무작위 측정값으로도 정확한 복원이 가능함을 보여준다.

ABSTRACT

Un-trained convolutional neural networks have emerged as highly successful tools for image recovery and restoration. They are capable of solving standard inverse problems such as denoising and compressive sensing with excellent results by simply fitting a neural network model to measurements from a single image or signal without the need for any additional training data. For some applications, this critically requires additional regularization in the form of early stopping the optimization. For signal recovery from a few measurements, however, un-trained convolutional networks have an intriguing self-regularizing property: Even though the network can perfectly fit any image, the network recovers a natural image from few measurements when trained with gradient descent until convergence. In this paper, we provide numerical evidence for this property and study it theoretically. We show that---without any further regularization---an un-trained convolutional neural network can approximately reconstruct signals and images that are sufficiently structured, from a near minimal number of random measurements.

연구 동기 및 목표

• 훈련되지 않은 합성곱 신경망이 명시적 정규화 없이 소수의 무작위 측정값에서 신호를 복원할 수 있는 이유를 이론적으로 설명하는 것.
• 과잉 파rameter화된 훈련되지 않은 네트워크에서 경사 하강법의 자체 정규화 행동을 이해하는 것.
• 신호 복잡성에 비례하는 최소 측정 수로 복원이 가능한 조건을 설정하는 것.
• 경사 하강법이 노이즈 또는 복잡한 패턴 대신 매끄럽고 구조적인 해를 암묵적으로 선호하는 메커니즘을 정형화하는 것.

제안 방법

• 고정된 합성곱 필터와 무작위 초기화를 갖는 훈련되지 않은 생성자 G: ℝ^N → ℝ^n으로서 딥 디코더 아키텍처를 사용한다.
• 손실 L(C) = ½||A G(C) - y||₂² 를 최소화하기 위해 경사 하강법을 적용한다. 여기서 y = A x* 는 압축 측정값이다.
• 생성자 G의 야코비안 J_G 와 그 특이값 분해를 분석하여 해 공간을 특성화한다.
• 신호 성분과 잔여 노이즈 성분에 따라 해를 분해함으로써 복원 오차의 경계를 유도한다.
• 야코비안의 섭동 분석을 통해 신호가 저주파수 부분공간에 있을 경우 경사 하강법이 진짜 신호에 가까운 해로 수렴함을 보인다.
• 네트워크의 인덕티브 바이어스와 최적화 역학으로 인해 최종 해가 약간의 매끄러운 해임을 증명한다.

실험 결과

연구 질문

• RQ1 왜 훈련되지 않은 CNN에서 경사 하강법이 조기 정지나 명시적 정규화 없이도 소수의 압축 측정값에서 자연 이미지를 복원하는가?
• RQ2 네트워크 아키텍처와 최적화 궤적은 암묵적 정규화에 어떤 역할을 하는가?
• RQ3 정확한 복원을 위해 얼마나 많은 측정값이 충분한가? 이 수는 신호 구조와 어떻게 스케일링되는가?
• RQ4 왜 재구성된 신호가 매끄럽고, 이는 생성자 야코비안의 특이값 분포와 어떻게 관련되는가?
• RQ5 해가 측정값과 일치하는 가장 매끄러운 근사해로 특성화될 수 있는가?

주요 결과

• 훈련되지 않은 딥 디코더에서 경사 하강법은 압축 측정값과 일치하는 가장 매끄러운 신호에 대해 약간의 해로 수렴한다.
• 복원 오차는 ξ||x*||₂ 로 경계지며, 여기서 ξ 는 네트워크의 야코비안 특성과 측정 노이즈에 의존하여 안정적인 복원을 보여준다.
• 이 방법은 m ≈ O(n) 측정값으로 정확한 복원을 달성하지만, 신호의 구조로 인해 효과적인 차원 수는 훨씬 작다.
• 해는 측정 노이즈에 대해 강건하며, 디노이징이나 인painting과 달리 조기 정지를 필요로 하지 않는다.
• 이론적 분석은 최적화 과정이 신호의 저주파수, 매끄러운 성분을 암묵적으로 선호함을 확인한다.
• 복원 오차의 경계는 O(β³/α⁴) 배수의 편차 크기로 스케일링되며, 여기서 β 와 α 는 생성자 야코비안의 스펙트럼 성질이다.