[논문 리뷰] Neural Networks, Ridge Splines, and TV Regularization in the Radon Domain.

Rahul Parhi, Robert D. Nowak|arXiv (Cornell University)|2020. 06. 10.

Advanced Numerical Analysis Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 단일 은닉층 신경망을 라돈 도메인에서 전체 미분 유사 정규화를 갖는 연속 도메인 역문제와 연결하는 변분 프레임워크를 제안한다. 유한한 너비를 가진 네트워크가 이러한 문제를 해결함을 보여주는 리프레젠터 정리(Representer Theorem)를 증명하며, 리지 스퍼린과의 연결을 드러내고, 가중치 감소 및 경로 노름 정규화자(regularizer)의 일반화 이점을 비히르베르트 공간이 아닌 반바나흐 공간 설정을 통해 설명한다.

ABSTRACT

We develop a variational framework to understand the properties of the functions learned by neural networks fit to data. We propose and study of a family of continuous-domain linear inverse problems with total variation-like regularization in the Radon domain subject to data fitting constraints. We derive a representer theorem showing that finite-width, single-hidden layer neural networks are solutions to these inverse problems. We draw on many techniques from variational spline theory and so we propose the notion of a ridge spline, which corresponds to fitting data with a single-hidden layer neural network. The representer theorem is reminiscent of the classical Reproducing Kernel Hilbert space representer theorem, but the neural network problem is set in a non-Hilbertian Banach space. Although the learning problems are posed in the continuous-domain, similar to kernel methods, the problems can be recast as finite-dimensional neural network training problems. These neural network training problems have regularizers which are related to the well-known weight decay and path-norm regularizers. Thus, our result gives insight into functional characteristics of trained neural networks and also into the design neural network regularizers. We also show that these regularizers promote neural network solutions with desirable generalization properties.

연구 동기 및 목표

• 데이터 기반으로 훈련된 신경망의 기능적 성질을 설명하는 변분 프레임워크를 개발하는 것.
• 데이터 피팅 제약 조건 하에 라돈 도메인에서 전체 미분 유사 정규화를 갖는 연속 도메인 역문제를 수립하는 것.
• 단일 은닉층 신경망과 이러한 역문제의 해 사이에 이론적 연결 고리를 구축하는 것.
• 신경망 피팅의 연속 도메인 해석으로서 리지 스퍼린의 개념을 도입하는 것.
• 가중치 감소 및 경로 노름 정규화자와 같은 신경망 정규화자의 일반화 성질에 대한 통찰을 제공하는 것.

제안 방법

• 데이터 피팅 제약 조건 하에 라돈 도메인에서 전체 미분 유사 정규화를 갖는 연속 도메인 선형 역문제를 수립한다.
• 변분 스퍼린 이론의 기법을 적용하여 신경망 해가 존재하는 함수 공간을 정의한다.
• 단일 은닉층 신경망의 출력 함수의 연속적 표현으로서 리지 스퍼린의 개념을 도입한다.
• 비히르베르트 공간인 반바나흐 공간 내에서 리프레젠터 정리를 유도하며, 유한 너비 네트워크가 역문제의 최적 해임을 보여준다.
• 기존의 연속적 수식으로부터 유도된 유한 차원 문제로 표준 신경망 훈련을 재해석한다.
• 유한 차원 훈련 수식에서 유도된 정규화자가 가중치 감소 및 경로 노름 정규화와 동일하거나 밀접하게 관련되어 있음을 보여준다.

실험 결과

연구 질문

• RQ1 단일 은닉층 신경망은 어떻게 연속 도메인 역문제의 해로 특징지어질 수 있는가?
• RQ2 라돈 도메인에서 전체 미분 정규화가 훈련된 신경망의 기능적 형태를 어떻게 형성하는가?
• RQ3 신경망에 적용된 리프레젠터 정리가 기존의 재생 커널 힐베르트 공간 정리와 기능 공간 측면에서 어떻게 다를까?
• RQ4 유도된 정규화자가 기존의 가중치 감소 및 경로 노름 정규화와 어떤 방식으로 관련되어 있는가?
• RQ5 이 정규화자들은 신경망 해의 일반화를 어떻게 향상시키는가?

주요 결과

• 유한 너비를 가진 단일 은닉층 신경망이 라돈 도메인에서 전체 미분 유사 정규화를 갖는 연속 도메인 역문제의 해임을 입증하였다.
• 설립된 리프레젠터 정리는 비히르베르트 반바나흐 공간에서 적용되며, 기존의 RKHS 결과를 신경망 설정으로 확장한다.
• 이 프레임워크는 리지 스퍼린을 신경망 함수 근사의 연속 도메인 해석으로 도입하여 스퍼린 이론과 신경망 학습을 통합한다.
• 유한 차원 훈련 수식에서 유도된 정규화자가 가중치 감소 및 경로 노름 정규화와 동일하거나 밀접하게 관련되어 있음을 입증하였다.
• 라돈 도메인 정규화의 구조를 통해 이 정규화자들이 신경망 해의 개선된 일반화 성질과 연결됨을 보였다.
• 연속 도메인 수식은 신경망 행동의 이론적 분석을 가능하게 하며 동시에 실용적인 유한 차원 훈련 절차를 허용한다.