[논문 리뷰] ReLU nets adapt to intrinsic dimensionality beyond the target domain.

Alexander Cloninger, Timo Klock|arXiv (Cornell University)|2020. 08. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 78인용 수 10

한 줄 요약

이 논문은 두 층의 ReLU 신경망이 기하학적으로 직관적인 사상에 의해 입력 차원을 감소시키는 $\phi$를 통해 구성 함수 $f(x) = g(\phi(x))$를 효율적으로 근사할 수 있음을 보여준다. 신경망은 데이터의 내재 차원성에 적응하여, 목표 함수의 복잡성에 따라 결정되는 거의 최적의 근사 속도를 달성하며, 이는 높은 차원의 입력 공간에서도 회귀 및 분류 문제에서 효율적인 학습을 가능하게 한다.

ABSTRACT

We study the approximation of two-layer compositions $f(x) = g(\phi(x))$ via deep ReLU networks, where $\phi$ is a nonlinear, geometrically intuitive, and dimensionality reducing feature map. We focus on two complementary choices for $\phi$ that are intuitive and frequently appearing in the statistical literature. The resulting approximation rates are near optimal and show adaptivity to intrinsic notions of complexity, which significantly extend a series of recent works on approximating targets over low-dimensional manifolds. Specifically, we show that ReLU nets can express functions, which are invariant to the input up to an orthogonal projection onto a low-dimensional manifold, with the same efficiency as if the target domain would be the manifold itself. This implies approximation via ReLU nets is faithful to an intrinsic dimensionality governed by the target $f$ itself, rather than the dimensionality of the approximation domain. As an application of our approximation bounds, we study empirical risk minimization over a space of sparsely constrained ReLU nets under the assumption that the conditional expectation satisfies one of the proposed models. We show near-optimal estimation guarantees in regression and classifications problems, for which, to the best of our knowledge, no efficient estimator has been developed so far.

연구 동기 및 목표

• ReLU 신경망이 $\phi$가 차원을 감소시키는 사상으로서 입력 차원을 감소시키는 구성 함수 $f(x) = g(\phi(x))$를 어떻게 근사하는지 이해하는 것.
• 목표 함수가 저차원 다양체 위로 정규 직교 투사에 대해 불변일 경우 근사 효율성을 분석하는 것.
• ReLU 신경망이 입력 공간의 임베딩 차원이 아닌 목표 함수의 내재 복잡성에 적응함을 입증하는 것.
• 조건부 기대 모델 하에서, 희소로 제약된 ReLU 신경망에 대한 경험 리스크 최소화의 추정 보장을 도출하는 것.

제안 방법

• 저자는 $\phi$가 차원 감소 및 기하학적으로 직관적인 특징 맵인 두 층의 ReLU 신경망을 분석한다.
• 통계 모델링에서 흔히 사용되며 기하학적으로 직관적인 해석을 갖는 $\phi$의 두 구체적 선택 사례를 고려한다.
• 이 방법은 $\phi$로 정의된 다양체의 내재 차원성에 따라 결정되는 근사 속도를 확립한다. 이는 입력 공간의 임베딩 차원이 아닌 것이다.
• ReLU 신경망의 성질을 활용하여, 정규 직교 투사에 대해 불변인 함수에 대해 거의 최적의 근사 오차 한계를 도출한다.
• 희소로 제약된 ReLU 신경망 위에서 경험 리스크 최소화에 이 프레임워크를 적용하며, 조건부 기대 모델 하에서 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 ReLU 신경망은 정규 직교 투사에 대해 불변인 함수에 대해 저차원 다양체 위로 효율적인 근사를 달성할 수 있는가?
• RQ2 ReLU 신경망은 입력 공간의 임베딩 차원이 아닌 목표 함수의 내재 차원성에 얼마나 잘 적응하는가?
• RQ3 기하학적으로 직관적인 $\phi$를 갖는 구성 함수 $f(x) = g(\phi(x))$에 대해 어떤 근사 속도를 달성할 수 있는가?
• RQ4 제안된 모델 하에서, 희소로 제약된 ReLU 신경망을 사용하여 회귀 및 분류 문제에서 거의 최적의 추정을 달성할 수 있는가?

주요 결과

• ReLU 신경망은 $\phi$가 저차원 다양체로 사상할 경우, 입력 공간의 임베딩 차원과 무관하게 함수 $f(x) = g(\phi(x))$에 대해 거의 최적의 근사 속도를 달성한다.
• 근사 효율성은 입력 영역의 차원보다는 목표 함수의 내재 복잡성에 따라 결정된다.
• 신경망은 목표 함수 $f$에 의해 결정되는 내재 차원성에 충실하게 적응하여, 높은 차원의 입력 공간에서도 효율적인 학습이 가능하다.
• 희소로 제약된 ReLU 신경망 위에서 경험 리스크 최소화는 회귀 및 분류 문제에서 거의 최적의 추정 보장을 제공한다.