[논문 리뷰] Neural network integral representations with the ReLU activation function

Armenak Petrosyan, Anton Dereventsov외 1명|arXiv (Cornell University)|2019. 10. 07.

Neural Networks and Applications인용 수 12

한 줄 요약

이 논문은 d차원 단위 구면을 매개변수화하기 위해 구좌표를 활용하여 ReLU 활성화 함수를 사용하는 신경망 적분 표현을 수립한다. 구면 위의 적분을 ReLU 기반 신경망 근사에 적합한 형태로 변환하는 변환을 유도하며, 적절한 매개변수화를 통해 단위 구면 상의 임의의 연속 함수가 ReLU 뉴런의 적분으로 표현될 수 있음을 증명한다. 이는 ReLU 네트워크를 통한 보편 근사의 이론적 기반을 제공한다.

ABSTRACT

In this effort, we derive a formula for the integral representation of a shallow neural network with the ReLU activation function. We assume that the outer weighs admit a finite $L_1$-norm with respect to Lebesgue measure on the sphere. For univariate target functions we further provide a closed-form formula for all possible representations. Additionally, in this case our formula allows one to explicitly solve the least $L_1$-norm neural network representation for a given function.

연구 동기 및 목표

• 단위 구면에서 연속 함수를 ReLU 신경망을 사용하여 표현하는 수학적 프레임워크를 수립하기 위해.
• 구좌표를 이용한 변수변환을 도출하여, 구면을 ReLU 활성화가 가능한 매개변수로 매개변수화하기 위해.
• 구면 위에서 ReLU 뉴런의 적분이 임의의 연속 함수를 표현할 수 있음을 증명하여 보편 근사를 가능하게 하기 위해.
• 기하 측도 이론을 통해 구면 조화함수와 ReLU 네트워크 표현 간의 관계를 체계화하기 위해.

제안 방법

• 각도 ϕ₁부터 ϕ_d까지를 사용하여 단위 구면 S^d를 구좌표로 매개변수화하고, 변수 a와 b로 매핑하기 위해.
• 표면 측도 dν_d(a,b)를 sin^{d-1}ϕ₁ sin^{d-2}ϕ₂ … sinϕ_{d-1} dϕ₁…dϕ_{d-1} 형태로 표현하기 위해.
• 구면 위의 적분 ∫_{S^d} F(a,b) dν_d(a,b)를 ϕ₁부터 ϕ_{d-1}까지 및 ϕ_d까지의 반복 적분 형태로 변환하기 위해.
• α = (α₁,…,α_d) ∈ S^{d-1}를 도입하여, i < d인 경우 a_i = sinϕ₁…sinϕ_{i-1} sinϕ_i cosϕ_i로 정의하고, a_d = sinϕ₁…sinϕ_{d-1} sinϕ_d로 정의하기 위해.
• b = cosϕ₁이고 a_i가 sinϕ₁ α_i에 비례한다는 항등식을 사용하여 함수 F를 ϕ₁과 α에 대해 표현하기 위해.
• 구좌표 변환을 표면 적분에 대입하여 적분 표현을 도출하기 위해.

실험 결과

연구 질문

• RQ1 단위 구면 S^d 상의 연속 함수는 ReLU 뉴런의 적분으로 표현될 수 있는가?
• RQ2 그러한 표현을 가능하게 하는 적절한 구면의 매개변수화는 무엇인가?
• RQ3 고차원에서 구좌표에 따라 표면 측도는 어떻게 변환되는가?
• RQ4 ReLU 활성화 함수는 적분 표현을 통한 보편 근사 구현에 어떤 역할을 하는가?

주요 결과

• 논문은 ReLU 신경망을 사용하여 단위 구면 S^d 상의 연속 함수에 대해 엄밀한 적분 표현을 수립한다.
• 구좌표를 통한 변환은 표면 적분을 각도 변수에 대한 반복 적분 형태로 재작성할 수 있도록 한다.
• 구면의 면적 요소는 sin^{d-1}ϕ₁ sin^{d-2}ϕ₂ … sinϕ_{d-1} dϕ₁…dϕ_{d-1} 형태로 표현되며, 이는 측도 변환에 핵심적이다.
• a_i = sinϕ₁…sinϕ_{i-1} sinϕ_i cosϕ_i 및 b = cosϕ₁의 매개변수화 방식은 구면 위에서 ReLU 기반 뉴런을 구성하는 데 기여한다.