[논문 리뷰] A representer theorem for deep neural networks

Michaël Unser|arXiv (Cornell University)|2018. 02. 26.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 두 번째 순서 총변동을 사용하여 활성화 함수 최적화를 기능적 정규화 문제로 공식화함으로써 딥 뉴럴 네트워크를 위한 리프레젠터 정리(Representative Theorem)를 제안한다. 주요 결과는 최적의 네트워크가 적응형 락(노드)을 가진 비균일 선형 스플라인을 사용한다는 것으로, 딥 러닝을 스플라인과 희소성과 연결하고, ReLU, PReLU, APL, MaxOut 등의 아키텍처를 명시적인 희소성 장려 성질을 가진 ℓ₁ 최소화를 통해 통합된 변분 프레임워크 안에서 통합한다.

ABSTRACT

We propose to optimize the activation functions of a deep neural network by adding a corresponding functional regularization to the cost function. We justify the use of a second-order total-variation criterion. This allows us to derive a general representer theorem for deep neural networks that makes a direct connection with splines and sparsity. Specifically, we show that the optimal network configuration can be achieved with activation functions that are nonuniform linear splines with adaptive knots. The bottom line is that the action of each neuron is encoded by a spline whose parameters (including the number of knots) are optimized during the training procedure. The scheme results in a computational structure that is compatible with the existing deep-ReLU, parametric ReLU, APL (adaptive piecewise-linear) and MaxOut architectures. It also suggests novel optimization challenges, while making the link with $\ell_1$ minimization and sparsity-promoting techniques explicit.

연구 동기 및 목표

• 커널 방법과 정규화 이론에 영감을 받은 변분 원리에 기반해 딥 뉴럴 네트워크의 설계와 학습을 통합한다.
• 모델의 보편성과 매개변수의 간결성 사이의 갈등을 해결하기 위해 활성화 함수에 기능적 정규화를 도입한다.
• 딥 뉴럴 네트워크가 스플라인과 희소성과 어떻게 연결되는지를 이론적으로 기반을 마련한다. 특히 ℓ₁ 최소화를 통해.
• 기존 아키텍처(예: ReLU, MaxOut, APL)를 네트워크 구조와 매개변수를 동시에 최적화하는 단일 수학적 프레임워크로 일반화한다.
• 최적의 해가 적응형 락을 가진 희소 스플라인 기반 함수 공간에 존재함을 보장하는 리프레젠터 정리를 제공한다.

제안 방법

• 두 번째 순서 총변동 정규화를 사용하여 함수 공간 위에서 기능 최소화 문제로 딥 러닝 문제를 공식화한다.
• 정규화 공간을 정의하기 위해 스플라인 적합한 미분 연산자 L = D²(두 번째 도함수)를 도입함으로써 조각별 선형 활성화 함수를 도출한다.
• 바나흐 공간에서의 일반화된 보간을 위한 리프레젠터 정리를 적용하여, 극값 해가 적응형 락을 가진 비균일 선형 스플라인임을 보여준다.
• 최적의 네트워크 구성이 s(x) = Σbₙpₙ(x) + Σaₖρₗ(x−τₖ) 형태의 활성화 함수를 가짐을 도출한다. 여기서 ρₗ은 L의 그린 함수이다.
• 유계 변동 함수 공간 BV⁽²⁾(ℝ)에서 샘플링 함수성분(δ(x−xₘ))의 약한* 연속성을 확립함으로써 최적화 문제의 잘 정의됨을 보장한다.
• 정규화 노름 ∥Lf∥ₘ이 스플라인 계수의 ℓ₁-노름 ∥a∥₁과 정확히 일치함을 보여, 최적화가 직접적으로 희소성 장려 최소화와 연결됨을 밝힌다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크의 아키텍처와 매개변수를 동시에 최적화할 수 있는 통합된 변분 프레임워크를 개발할 수 있는가?
• RQ2 딥 뉴럴 네트워크에 대해 리프레젠터 정리가 존재하는가? 이는 최적의 활성화 함수를 스플라인의 관점에서 기술하는가?
• RQ3 두 번째 순서 총변동 정규화가 잘 일반화되는 희소하고 적응형 활성화 함수를 도출할 수 있는가?
• RQ4 제안된 프레임워크는 ReLU, PReLU, APL, MaxOut 등의 기존 아키텍처를 단일 수학적 원리로 어떻게 통합하는가?
• RQ5 정규화 프레임워크가 딥 러닝에서 희소성과 ℓ₁ 최소화와 얼마나 밀접하게 연결되는가?

주요 결과

• 두 번째 순서 총변동 정규화 하에서 최적의 딥 뉴럴 네트워크 구성은 적응형 락을 가진 비균일 선형 스플라인으로, 각 뉴런의 활성화는 최적화된 락 위치를 가진 조각별 선형 함수이다.
• 정규화 노름 ∥Lf∥ₘ은 스플라인 계수의 ℓ₁-노름 ∥a∥₁과 정확히 일치하므로, 최적화가 명시적으로 희소성 장려 ℓ₁ 최소화와 연결됨을 보여준다.
• 해 공간은 유한한 기저 함수와 딜라 델타 유사 그린 함수로 생성되며, 이는 최적의 네트워크가 활성화 함수 매개변수 측면에서 희소 표현을 가짐을 보장한다.
• 이 프레임워크는 ReLU, PReLU, APL, MaxOut 등의 기존 딥 러닝 아키텍처와 호환되며, 이러한 아키텍처들은 제안된 스플라인 기반 활성화 함수의 특수한 경우로 볼 수 있다.
• 샘플링 함수성분 f ↦ f(xₘ)는 BV⁽²⁾(ℝ)에서 약한* 연속성이 확립되어 있으며, 이는 보간 문제의 잘 정의됨과 유일한 해 존재를 보장한다.
• 두 번째 도함수 연산자 D²의 영공간은 애파인 함수(1, x)로 생성되며, 이는 데이터 포인트들이 모두 동일하지 않은 한 보간 문제가 잘 정의됨을 보장한다.