[논문 리뷰] Ridges, Neural Networks, and the Radon Transform

Michaël Unser|arXiv (Cornell University)|2022. 03. 04.

Medical Imaging Techniques and Applications인용 수 6

한 줄 요약

이 논문은 신경망의 릿지(ridges)와 라돈 변환(Radon transform)을 엄밀한 수학적 프레임워크로 연결하며, 특정 바나흐 부분공간에서의 역행사상(back-projection) 연산자의 가역성을 증명하고, 라돈 도메인에서의 샘플링 함수형을 특성화한다. 또한 릿지 함수를 분포(profile) 프로파일로 일반화하고, 이 형식을 사용해 라돈 도메인 정규화 하에서 ReLU 네트워크의 최적성 증명을 단순화하고 명확화한다.

ABSTRACT

A ridge is a function that is characterized by a one-dimensional profile (activation) and a multidimensional direction vector. Ridges appear in the theory of neural networks as functional descriptors of the effect of a neuron, with the direction vector being encoded in the linear weights. In this paper, we investigate properties of the Radon transform in relation to ridges and to the characterization of neural networks. We introduce a broad category of hyper-spherical Banach subspaces (including the relevant subspace of measures) over which the back-projection operator is invertible. We also give conditions under which the back-projection operator is extendable to the full parent space with its null space being identifiable as a Banach complement. Starting from first principles, we then characterize the sampling functionals that are in the range of the filtered Radon transform. Next, we extend the definition of ridges for any distributional profile and determine their (filtered) Radon transform in full generality. Finally, we apply our formalism to clarify and simplify some of the results and proofs on the optimality of ReLU networks that have appeared in the literature.

연구 동기 및 목표

• 신경망 내 릿지 함수와 라돈 변환 간의 관계를 수학적으로 형식화하며, 특히 무한한 너비를 가진 네트워크와 측도 기반 매개변수화의 맥락에서 다룬다.
• 역행사상(수반 라돈 변환)이 측도 및 관련 함수공간의 바나흐 부분공간에서 가역적이거나 식별 가능한 영공간(null space)을 가진 채택 가능한 조건을 규명한다.
• 필터링된 라돈 변환의 범위에 속하는 샘플링 함수형을 특성화하여, 신경망 학습의 변분형식을 가능하게 한다.
• 릴지의 정의를 분포 프로파일을 포함하도록 일반화하고, 일반적으로 필터링된 라돈 변환을 유도한다.
• 제안된 라돈 도메인 정규화 프레임워크를 사용해 기존의 ReLU 네트워크 최적성 결과를 재유도하고 단순화한다.

제안 방법

• 직합 위상과 프로젝터를 사용하여, 역행사상이 가역인 초구형 바나흐 부분공간(측도 포함)의 클래스를 도입한다.
• 역행사상이 전체 부모 공간으로 확장될 수 있는 조건을 규명하며, 그 영공간이 바나흐 보완(complement)임을 보장한다.
• 라돈 변환의 분포적 확장을 사용해 분포적 프로파일을 가진 일반화된 릿지를 정의함으로써, 부드러운 활성화 함수를 초월한 분석이 가능해진다.
• 라디얼 변수를 따라 컨볼루션 연산자를 조합함으로써, 일반화된 릿지의 필터링된 라돈 변환을 도출한다.
• 이론을 라돈 도메인 정규화에 적용하여, 라돈 도메인에서의 총변동성 노름을 최소화하면 유한한 너비를 가진 ReLU 네트워크에 해당하는 희박한 해가 얻어짐을 보여준다.
• 이중 공간에서의 극점 이론을 활용해, 라돈 도메인 최적화 문제의 최소화자를 특성화하며, 이들이 매개변수 공간에서의 샘플 델타 질량(Signed Dirac masses)과 연결됨을 밝힌다.

실험 결과

연구 질문

• RQ1 측도 및 관련 함수공간의 바나흐 부분공간에서 역행사상이 어떤 조건에서 가역적인가?
• RQ2 어떤 샘플링 함수형이 필터링된 라돈 변환의 범위에 속하며, 이를 추상적이고 구성적으로 어떻게 특성화할 수 있는가?
• RQ3 릴지 개념을 분포적 프로파일을 포함하도록 어떻게 일반화할 수 있으며, 그 결과로 얻어지는 일반화된 릿지의 라돈 변환은 무엇인가?
• RQ4 라돈 도메인 정규화와 ReLU 네트워크의 최적성 간의 연결 고리는 무엇이며, 특히 희박성과 근사의 관점에서 어떻게 설명할 수 있는가?
• RQ5 제안된 라돈 변환 형식을 사용해 기존의 ReLU 네트워크 최적성 증명을 단순화하고 명확화할 수 있는가?

주요 결과

• 적절한 위상적 및 대수적 조건 하에서, 측도 공간을 포함한 광범위한 초구형 바나흐 부분공간에서 역행사상이 가역임을 입증한다.
• 확장된 역행사상의 영공간이 바나흐 보완으로 식별되며, 이는 전체 부모 공간에서 역문제의 잘 정의됨(well-posedness)을 보장한다.
• 라돈 도메인의 샘플링 함수형은 필터링된 라돈 변환의 평가로 표현 가능한 함수형으로 특성화되며, 명시적인 구성적 기술이 제공된다.
• 분포적 프로파일을 가진 일반화된 릿지가 정의되고, 그 필터링된 라돈 변환은 일반적으로 도출되었으며, 고전적 릿지릿 이론을 확장한다.
• 논문은 라돈 도메인 총변동성 정규화 하에서 ReLU 네트워크 최적성의 단순화되고 통합된 증명을 제공하며, 최소화자가 희박하고 유한한 너비의 네트워크에 해당함을 보여준다.
• 실수축 $\mathbb{R} \times \mathbb{S}^{d-1}$ 상의 연속함수 공간에서 이중 단위구의 극점이 부호가 있는 델타 질량임을 입증하며, 이는 최적 해의 희박성의 기초가 된다.