[논문 리뷰] Deep Learning for Inverse Problems: Bounds and Regularizers

Jaweria Amjad, Zhaoyan Lyu외 1명|arXiv (Cornell University)|2019. 01. 31.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 회귀 작업, 특히 역문제에 대해 깊이 있는 신경망의 새로운 일반화 경계를 제안하며, 네트워크의 야코비안 행렬의 특이값 노름에 기반한다. 이는 계산적으로 효율적인 정규화 전략—예를 들어 가중치 수직화 및 야코비안 수직화—를 도출하여 기존의 가중치 감쇠보다 성능을 향상시킨다. 특히 이미지 초해상도 및 복원 작업에서 두각을 나타낸다.

ABSTRACT

Inverse problems arise in a number of domains such as medical imaging, remote sensing, and many more, relying on the use of advanced signal and image processing approaches -- such as sparsity-driven techniques -- to determine their solution. This paper instead studies the use of deep learning approaches to approximate the solution of inverse problems. In particular, the paper provides a new generalization bound, depending on key quantity associated with a deep neural network -- its Jacobian matrix -- that also leads to a number of computationally efficient regularization strategies applicable to inverse problems. The paper also tests the proposed regularization strategies in a number of inverse problems including image super-resolution ones. Our numerical results conducted on various datasets show that both fully connected and convolutional neural networks regularized using the regularization or proxy regularization strategies originating from our theory exhibit much better performance than deep networks regularized with standard approaches such as weight-decay.

연구 동기 및 목표

• 회귀 작업, 특히 역문제에 대해 깊이 있는 신경망의 일반화 오차 경계를 개발하는 것.
• 일반화에 영향을 미치는 핵심 네트워크 성질—특히 야코비안의 특이값 노름—을 규명하는 것.
• 이론적 경계에 뿌리를 두고 계산적으로 효율적인 정규화 전략을 도출하여 모델 성능을 향상시키는 것.
• 이미지 복원 및 초해상도 벤치마크에서 제안된 정규화 기법을 경험적으로 검증하는 것.

제안 방법

• 각 층의 야코비안 행렬의 특이값 노름의 곱에 의존하는 일반화 오차 경계를 유도한다.
• 이 경계를 역문제에 특화시키며, 전진 연산자 F의 리프시츠 상수와 노이즈 전력을 통합한다.
• 야코비안의 특이값 노름을 제어하기 위해 웨이트 수직화(WO), 야코비안 수직화, SRIP 등의 대체 정규화 기법을 제안한다.
• 낮은 야코비안 특이값 노름이 일반화와 강건성 향상과 연결됨을 이론적으로 프레임워크화한다.
• 표본 공간의 복잡도를 측정하기 위해 커버링 수와 메트릭 엔트로피를 활용한다.
• 완전히 연결된 신경망과 컨volutional 네트워크를 사용하여 이미지 초해상도 및 복원 데이터셋에서 이론을 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 회귀 작업, 특히 역문제에 대해 딥러닝 신경망의 일반화 오차는 어떻게 경계지울 수 있는가?
• RQ2 야코비안 행렬의 특이값 노름은 일반화 오차 제어에 어떤 역할을 하는가?
• RQ3 일반화 경계에서 유도된 정규화 기법이 역문제에서 성능 향상에 기여할 수 있는가?
• RQ4 야코비안 기반 정규화 기법은 이미지 복원 및 초해상도에서 표준 가중치 감쇠와 비교하여 어떻게 성능을 냅니까?
• RQ5 수직화 기반 정규화 기법인 WO와 SRIP는 모델의 일반화를 얼마나 향상시키는가?

주요 결과

• 일반화 경계에서 도출된 정규화 기법—특히 WO와 SRIP—는 이미지 초해상도 및 복원 작업에서 표준 가중치 감쇠보다 뚜렷이 뛰어난 성능을 보인다.
• WO로 정규화된 네트워크는 일반화 오차(GE) 성능이 가장 우수하지만, 테스트 오차와 PSNR에서 약간의 성능 흐름이 있다.
• 모든 수직화 기반 정규화 기법(WO, SRIP, Parseval)이 가중치 감쇠를 능가하며, 야코비안 특이값 노름 제어의 중요성을 입증한다.
• 제안된 일반화 경계는 야코비안의 각 층별 특이값 노름의 곱, 입력 공간의 커버링 수, 노이즈 전력에 의존한다.
• 이론적 분석을 통해 야코비안 행렬의 특이값 노름의 곱을 최소화하면 일반화가 향상됨을 확인한다.
• 경험적 결과는 WO와 SRIP를 통한 특이값 노름 정규화가 직접적인 가중치 특이값 노름 제약보다 더 효과적임을 보여준다.