[논문 리뷰] Universality of Deep Convolutional Neural Networks

Ding‐Xuan Zhou|arXiv (Cornell University)|2018. 05. 28.

Neural Networks and Applications참고 문헌 22인용 수 17

한 줄 요약

이 논문은 네트워크 깊이가 충분히 클 경우, 깊이 있는 컨volution 신경망(DCNN)이 컴act 도메인 상의 임의의 연속 함수를 임의의 정밀도로 근사할 수 있음을 증명함으로써 DCNN의 보편성을 확립한다. 이론적 프레임워크는 깊이 있는 DCNN이 완전히 연결된 네트워크보다 훨씬 적은 파라미터로도 이를 달성할 수 있음을 보여주며, 근사 이론에서 컨볼루션 구조의 효율성과 표현 능력을 입증한다.

ABSTRACT

Deep learning has been widely applied and brought breakthroughs in speech recognition, computer vision, and many other domains. The involved deep neural network architectures and computational issues have been well studied in machine learning. But there lacks a theoretical foundation for understanding the approximation or generalization ability of deep learning methods generated by the network architectures such as deep convolutional neural networks having convolutional structures. Here we show that a deep convolutional neural network (CNN) is universal, meaning that it can be used to approximate any continuous function to an arbitrary accuracy when the depth of the neural network is large enough. This answers an open question in learning theory. Our quantitative estimate, given tightly in terms of the number of free parameters to be computed, verifies the efficiency of deep CNNs in dealing with large dimensional data. Our study also demonstrates the role of convolutions in deep CNNs.

연구 동기 및 목표

• 학습 이론에서 깊이 있는 컨volution 신경망(CNN)의 근사 능력에 대한 이론적 기초를 확립하기 위해.
• 깊이 있는 CNN이 임의의 연속 함수를 근사할 수 있는지 여부라는 열린 문제를 해결하여 딥러닝 이론의 핵심적 격차를 메우기 위해.
• 자유 파라미터 수와의 관계를 통해 깊이 있는 CNN의 근사 효율성을 정량화하기 위해.
• 컨볼루션의 수학적 역할이 표현 능력 향상과 계산 효율성 향상에 어떻게 기여하는지 보여주기 위해.

제안 방법

• 활성 함수로 ReLU를 사용하며, σ(u) = max{u, 0}로 정의되며, 네트워크 출력에 성분별로 적용된다.
• 고정 길이 s를 가진 필터 마스크 w^(j)로 정의된 희박한 컨볼루션 행렬 T^(j)를 반복적으로 적용하여 깊이 있는 CNN을 구성한다. 이는 희박성과 파라미터 효율성을 보장한다.
• 계층 간의 구조적 정보를 유지하고 보편적 근사를 지원하기 위해 계층 너비의 계층적 증가 d_j = d + j·s 를 적용한다.
• 각 계층의 출력을 안정화하고 제어하기 위해 특수한 구조를 가진 편향 벡터 b^(j)를 구현한다. 이는 정밀한 근사 제어를 가능하게 한다.
• 다항식의 컨볼루션 분해를 시퀀스의 기호를 통해 구현함으로써 고차수 필터를 저차수 필터의 시퀀스로 분해함으로써 깊이 기반 근사를 가능하게 한다.
• 소볼레프 공간 노름과 웨이블릿 유사 다항식 분해를 활용하여 깊이 J와 차원 d에 대한 근사 오차의 날카운 경계를 유도한다.

실험 결과

연구 질문

• RQ1 깊이 있는 컨볼루션 신경망은 컴 pact 도메인 상의 임의의 연속 함수를 임의의 정밀도로 근사할 수 있는가?
• RQ2 깊이 있는 CNN의 자유 파라미터 수는 그 근사 정밀도와 어떻게 관련이 있는가?
• RQ3 완전히 연결된 네트워크와 비교했을 때, 컨볼루션 구조가 효율적인 보편적 근사를 가능하게 하는 역할은 무엇인가?
• RQ4 근사 오차는 네트워크 깊이와 입력 차원에 대해 정량적으로 경계를 설정할 수 있는가?
• RQ5 고차수 컨볼루션 필터를 계층적 조합을 통해 저차수 필터의 시퀀스로 분해할 수 있는가?

주요 결과

• 깊이 있는 CNN은 보편적 근사기이다: 임의의 연속 함수 f가 컴 pact 도메인 Ω ⊂ ℝ^d 상에 존재할 경우, 충분히 깊은 깊이 J를 가진 깊이 있는 CNN이 존재하여, J → ∞ 일 때 근사 오차가 0으로 수렴한다.
• 근사 오차는 O(√(log J) · J^(-1/2 - 1/d)) 의 속도로 감소하며, 깊이 J와 입력 차원 d에 대한 날카운 정량적 경계를 제공한다.
• 깊이 있는 CNN의 총 자유 파라미터 수는 (5s + 2)J + 2d - 2s - 1 이며, 이는 완전히 연결된 네트워크보다 훨씬 작아 계산 효율성을 입증한다.
• 이 방법은 완전히 연결된 계층이 필요 없이, 오직 ReLU 활성화 함수와 희박한 컨볼루션 행렬만을 사용하여 보편적 근사를 달성한다.
• 논문은 {0, ..., M} 에서 지지되는 임의의 필터 시퀀스 W는 길이가 최대 s인 J개의 시퀀스 곱으로 분해될 수 있음을 증명하며, 깊이 기반의 계층적 근사를 가능하게 한다.
• 이론적 프레임워크는 컨볼루션이 단순한 구조적 선택이 아니라, 딥러닝에서 효율적이고 보편적인 함수 근사를 가능하게 하는 핵심 요소임을 확인한다.