[논문 리뷰] Random ReLU Features: Universality, Approximation, and Composition.

Yitong Sun, Anna C. Gilbert외 1명|arXiv (Cornell University)|2018. 10. 10.

Machine Learning and ELM참고 문헌 12인용 수 2

한 줄 요약

이 논문은 랜덤 ReLU 특징이 그들의 재생 핵 힐버트 공간(RKHS)을 통해 임의의 함수를 근사하는 데 있어 보편성을 확립하며, 이는 전반적으로 일致하는 학습 방법을 형성함을 증명한다. 그러나 얕은 모델이 이러한 특징을 사용할 경우 복합 함수를 다루는 데 어려움을 겪는 깊이 분리 현상이 드러나며, 반면 가중치가 유계인 더 깊은 ReLU 네트워크는 이러한 복합 함수를 효율적으로 근사할 수 있음을 보여, 얕은 랜덤 특징 모델의 근본적인 한계를 입증한다.

ABSTRACT

We study the approximation properties of random ReLU features through their reproducing kernel Hilbert space (RKHS). We first prove a universality theorem for the RKHS induced by random features whose feature maps are of the form of nodes in neural networks. The universality result implies that the random ReLU features method is a universally consistent learning algorithm. We prove that despite the universality of the RKHS induced by the random ReLU features, composition of functions in it generates substantially more complicated functions that are harder to approximate than those functions simply in the RKHS. We also prove that such composite functions can be efficiently approximated by multi-layer ReLU networks with bounded weights. This depth separation result shows that the random ReLU features models suffer from the same weakness as that of shallow models. We show in experiments that the performance of random ReLU features is comparable to that of random Fourier features and, in general, has a lower computational cost. We also demonstrate that when the target function is the composite function as described in the depth separation theorem, 3-layer neural networks indeed outperform both random ReLU features and 2-layer neural networks.

연구 동기 및 목표

• 랜덤 ReLU 특징의 재생 핵 힐버트 공간(RKHS)을 통해 함수 근사에서 보편성을 확립한다.
• 랜덤 ReLU 특징의 RKHS 내에서 복합 함수의 근사 능력을 조사한다.
• 얕은 랜덤 ReLU 특징 모델의 한계를 깊은 신경망과 비교하여 분석한다.
• 다층 ReLU 네트워크가 유계 가중치를 가진 채로 복합 함수를 효율적으로 근사할 수 있음을 입증한다.

제안 방법

• 신경망의 활성화 노드와 유사한 랜덤 ReLU 특징 매핑이 유도하는 RKHS에 대한 이론적 분석.
• 랜덤 ReLU 특징의 RKHS에 대한 보편성 증명으로, 컴act 도메인에서 연속 함수를 근사할 수 있음을 보여준다.
• 랜덤 ReLU 특징의 RKHS 내에서 근사가 어려운 복합 함수의 클래스를 구성한다.
• 이러한 복합 함수가 유계 가중치를 가진 깊은 ReLU 네트워크에 의해 효율적으로 근사될 수 있음을 증명하며, 깊이 분리를 확립한다.
• 근사 정확도와 계산 비용 측면에서 랜덤 ReLU 특징과 랜덤 푸리에 특징 간의 경험적 비교.
• 복합 함수를 목표 함수로 삼아, 2층 네트워크, 3층 네트워크, 랜덤 ReLU 특징 간의 성능 평가 실험.

실험 결과

연구 질문

• RQ1 랜덤 ReLU 특징이 유도하는 RKHS는 함수 근사에 대해 보편적인가?
• RQ2 랜덤 ReLU 특징의 RKHS 내에서 함수의 복합화는 얕은 모델에 의해 효율적으로 근사될 수 있는가?
• RQ3 유계 가중치를 가진 깊은 ReLU 네트워크가 복합 함수에서 얕은 랜덤 ReLU 특징 모델을 능가하는가?
• RQ4 랜덤 ReLU 특징의 근사 성능은 랜덤 푸리에 특징과 비교해 어떻게 되는가?
• RQ5 랜덤 ReLU 특징의 계산 비용은 다른 랜덤 특징 방법에 비해 어떻게 되는가?

주요 결과

• 랜덤 ReLU 특징이 유도하는 RKHS는 보편적이며, 이는 랜덤 ReLU 특징이 보편적으로 일致하는 학습 알고리즘을 형성함을 확인한다.
• RKHS의 보편성에도 불구하고, 이 안에서 함수를 복합화하면 근사가 더 어려운 훨씬 더 복잡한 함수로 변형되며, 이는 RKHS 내의 함수들보다 근사가 더 어려운 경우가 된다.
• 랜덤 ReLU 특징의 RKHS 내에서 근사가 어려운 복합 함수는 유계 가중치를 가진 깊은 ReLU 네트워크에 의해 효율적으로 근사될 수 있다.
• 랜덤 ReLU 특징은 계산 비용이 낮지만 랜덤 푸리에 특징과 유사한 성능을 달성한다.
• 실험 결과, 복합 함수를 목표 함수로 삼을 경우, 3층 ReLU 네트워크가 2층 네트워크와 랜덤 ReLU 특징을 모두 능가하는 성능을 보였다.