[논문 리뷰] Deep ReLU networks lessen the curse of dimensionality

Hadrien Montanelli, Qiang Du|arXiv (Cornell University)|2017. 12. 23.

Neural Networks and Applications참고 문헌 17인용 수 19

한 줄 요약

이 논문은 다변수 함수를 근사할 때 깊이 있는 ReLU 신경망이 희소 격자 구조를 활용하여 차원의 극복 문제를 완화시킬 수 있음을 보여준다. 차원에 따라 유리하게 스케일링되는 향상된 오차 한계를 확립하여, 높은 유저 환경에서 전통적 방법보다 더 나은 근사율을 달성함을 보여준다.

ABSTRACT

We prove a theorem concerning the approximation of multivariate functions by deep ReLU networks. We present new error estimates for which the curse of the dimensionality is lessened by establishing a connection with sparse grids.

연구 동기 및 목표

• 깊이 있는 ReLU 신경망이 높은 유저 환경의 다변수 함수 근사에서 차원의 극복 문제를 극복할 수 있는지 조사하는 것.
• 기존 방법과 비교해 깊이 있는 ReLU 신경망을 사용한 함수 근사에 대해 더 날카로운 오차 한계를 설정하는 것.
• 깊이 있는 네트워크 근사와 희소 격자 이론을 연결하여 고차원에서의 계산 복잡도를 줄이는 것.
• 깊이 있는 네트워크가 얕은 네트워크나 표준 근사 기법보다 더 나은 수렴 속도를 달성할 수 있음을 보여주는 것.

제안 방법

• 저자는 계산 가능한 접근 방식을 사용하여 계층적 희소 격자 분해를 이용해 다변수 함수를 근사하는 깊이 있는 ReLU 신경망을 구축한다.
• 대상 함수를 계층적 잔여항의 합으로 분해하고, 각 항은 희소 격자 수준에서 얕은 ReLU 신경망으로 근사된다.
• 네트워크 아키텍처는 격자의 희소성에 기반하여 고차원 근사에 필요한 파라미터 수를 줄이는 데 설계된다.
• 오차 추정은 각 희소 격자 수준에서의 근사 오차를 분석하고 수준 간 기여도를 합산함으로써 유도된다.
• 분석은 네트워크의 깊이와 격자의 희소성 간의 관계를 연결하여, 더 깊은 네트워크가 더 높은 근사 효율성을 달성할 수 있음을 보여준다.
• 핵심 이론적 도구로는 조각별 선형 정밀화와 ReLU 활성화 함수를 사용해 계층 기반 함수를 표현하는 것.

실험 결과

연구 질문

• RQ1 깊이 있는 ReLU 신경망은 다변수 함수 근사에서 차원의 극복 문제를 줄일 수 있는가?
• RQ2 높은 차원에서 깊이 있는 ReLU 신경망의 오차 한계는 얕은 네트워크나 전통적 방법과 비교해 어떻게 다른가?
• RQ3 희소 격자는 깊이 있는 ReLU 신경망이 효율적인 근사 구현에 어떻게 기여하는가?
• RQ4 깊이 있는 네트워크의 근사율을 기저의 격자 구조의 희소성과 정량적으로 연결할 수 있는가?

주요 결과

• 깊이 있는 ReLU 신경망은 차원에 따라 지수적으로 증가하지 않는 오차 한계를 달성하여, 차원의 극복 문제를 크게 줄인다.
• 오차 한계는 격자의 희소성과 대상 함수의 매끄러움에 따라 달라지며, 표준 텐서 곱 격자보다 향상된 속도를 보인다.
• 구성 방식은 더 깊은 네트워크가 얕은 네트워크보다 더 적은 파라미터로 고차원 함수를 표현할 수 있음을 보여준다.
• 이론적 프레임워크는 깊이 있는 네트워크가 유리한 경우 차원에 독립적인 속도로 오차가 감소하도록 근사할 수 있음을 확립한다.