[논문 리뷰] Approximation by Combinations of ReLU and Squared ReLU Ridge Functions with $ \ell^1 $ and $ \ell^0 $ Controls

Jason M. Klusowski, Andrew R. Barron|arXiv (Cornell University)|2016. 07. 26.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 9

한 줄 요약

이 논문은 내부 및 외부 매개변수에 $\ell^1$ 및 $\ell^0$ 제약 조건이 붙은 ReLU 및 제곱 ReLU 레지 함수의 선형 조합을 사용하여 고차원 함수를 근사할 때 $L^\infty$ 및 $L^2$ 오차 한계를 설정한다. $L^2$ 오차는 내부 $\ell^0$ 희박성에 대해 역수로 감소하고 외부 $\ell^0$ 희박성에 대해 비선형적으로 감소하며, 조슨-바론 확률적 방법의 변종을 사용하여 이를 입증한다. 또한 일치하는 하한을 통해 근사적으로 최적임을 증명한다.

ABSTRACT

We establish $ L^{\infty} $ and $ L^2 $ error bounds for functions of many variables that are approximated by linear combinations of ReLU (rectified linear unit) and squared ReLU ridge functions with $ \ell^1 $ and $ \ell^0 $ controls on their inner and outer parameters. With the squared ReLU ridge function, we show that the $ L^2 $ approximation error is inversely proportional to the inner layer $ \ell^0 $ sparsity and it need only be sublinear in the outer layer $ \ell^0 $ sparsity. Our constructions are obtained using a variant of the Jones-Barron probabilistic method, which can be interpreted as either stratified sampling with proportionate allocation or two-stage cluster sampling. We also provide companion error lower bounds that reveal near optimality of our constructions. Despite the sparsity assumptions, we showcase the richness and flexibility of these ridge combinations by defining a large family of functions, in terms of certain spectral conditions, that are particularly well approximated by them.

연구 동기 및 목표

• 내부 및 외부 매개변수에 $\ell^1$ 및 $\ell^0$ 제약 조건이 붙은 ReLU 및 제곱 ReLU 레지 함수의 선형 조합의 근사 능력을 조사하는 것.
• 매개변수에 대한 희박성 가정이 고차원 함수 근사에서 모델의 유연성에 얼마나 영향을 미치는지 파악하는 것.
• 내부 매개변수의 유한한 노름과 함께 이러한 레지 조합을 사용하여 효율적으로 근사할 수 있는 타겟 함수에 대한 스펙트럼 조건을 규명하는 것.
• 희박성 제약 조건 하에서 $L^2$ 및 $L^\infty$ 노름에서 근사 오차에 대한 날카운 상한 및 하한을 설정하는 것.

제안 방법

• 조슨-바론 확률적 방법의 변종이 사용되며, 비례 배정 또는 이중 단계 군집 샘플링으로 해석되는 계층적 샘플링으로 간주된다.
• 랜덤화된 매개변수화가 사용된다: 각 레지 함수에 대해 내부 매개변수 벡터 $a_k$는 $\widetilde{a}_{\ell,k}$를 통해 확률적으로 재구성되며, 이는 $|a_k(j)|$로 스케일된 랜덤 부호 벡터이다.
• 랜덤화된 매개변수화된 함수의 기대값은 원래 레지 함수와 일치하므로 비편향 근사가 보장된다.
• 내부 매개변수 근사의 분산 한계는 $\mathbb{E}[\widetilde{a}_{\ell,k} \cdot x] = a_k \cdot x$ 및 $\mathsf{Var}[\widetilde{a}_{\ell,k} \cdot x] \leq \|a_k\|_1 \|x\|_\infty^2 \leq 1$을 사용하여 유도된다.
• 근사 오차는 편향과 분산 성분으로 분해되며, 삼각 부등식 및 $z_+^{s-1}$의 성질을 통해 한계가 유도된다.
• 핵심 부등식이 사용된다: $|(z)_+ - (z')_+| \leq |z - z'|$ 및 $s=2$와 $s=3$에 대해 각각 $|(z)^2_+ - (z')^2_+ - 2(z - z')(z')_+| \leq |z - z'|^2$.

실험 결과

연구 질문

• RQ1 내부 매개변수의 $\ell^0$ 희박성이 ReLU 및 제곱 ReLU 레지 함수의 $L^2$ 근사 오차에 어떻게 영향을 미치는가?
• RQ2 함수 $f$에 대해 어떤 스펙트럼 조건이 $\ell^1$ 및 $\ell^0$ 제약 조건이 있는 상태에서 이러한 레지 조합을 통해 잘 근사될 수 있도록 보장하는가?
• RQ3 입력 차원 $d$에 관계없이 근사 오차를 제한할 수 있는가, 특히 $\|a_k\|_1 = 1$일 경우에?
• RQ4 근사 속도가 하한과 어떻게 비교되며, 이 구조는 근사적으로 최적인가?
• RQ5 확률적 방법이 제어된 희박성과 함께 효율적인 근사를 구성하는 데 어떤 역할을 하는가?

주요 결과

• 제곱 ReLU 레지 함수의 $L^2$ 근사 오차는 내부 $\ell^0$ 희박성에 대해 역수 비례하고 외부 $\ell^0$ 희박성에 대해 비선형적으로 감소한다.
• s=2일 때, $L^2$ 오차 한계는 $\|f - \mathbb{E}\overline{f}_{m,m_0}\|_2^2 \leq v^2 / m_0$로 표현되며, 이는 내부 매개변수 샘플 수 $m_0$에 대해 역수 의존성을 보여준다.
• s=3일 때, $L^2$ 오차 한계는 $\|f - \mathbb{E}\overline{f}_{m,m_0}\|_2^2 \leq v^2 / m_0^2$로 표현되며, 이는 $m_0$에 대해 제곱 개선을 나타낸다.
• 제안된 구조는 동반 하한이 상한과 로그 인자 수준에서 일치함으로써 근사적으로 최적임이 확인된다.
• v_{f,1} < \infty를 만족하는 함수(즉, $\ell^1$-가중 주파수 노름을 가진 적분 가능한 푸리에 변환)는 $L^\infty$에서 $O(m^{-1/2})$ 속도로 근사 가능하다.
• 이 방법은 $\|a_k\|_1 = 1$ 및 $\|a_k\|_0 \leq m_0$ 제약 조건이 있더라도 차원 $d$에 관계없이 $L^2$ 오차 한계를 확보할 수 있다.