[논문 리뷰] Duality of Width and Depth of Neural Networks.

Fenglei Fan, Ge Wang|arXiv (Cornell University)|2020. 02. 06.

Neural Networks and Applications인용 수 2

한 줄 요약

이 논문은 ReLU 신경망의 넓이와 깊이 사이에 준등가성( quasi-equivalence )을 수립하며, 임의의 순방향 ReLU 네트워크가 임의로 작은 오차로 동등한 넓거나 깊은 네트워크로 변환될 수 있음을 보여준다. 이 변환은 넓이와 깊이 사이의 이중성(duality)을 드러내며, 등가성은 분류 작업에서 데이터 기반 버전의 드 모르간의 법칙과 유사하다.

ABSTRACT

While classic studies proved that wide networks allow universal approximation, recent research and successes of deep learning demonstrate the power of the network depth. Based on a symmetric consideration, we investigate if the design of artificial neural networks should have a directional preference, and what the mechanism of interaction is between the width and depth of a network. We address this fundamental question by establishing a quasi-equivalence between the width and depth of ReLU networks. Specifically, we formulate a transformation from an arbitrary ReLU network to a wide network and a deep network for either regression or classification so that an essentially same capability of the original network can be implemented. That is, a deep regression/classification ReLU network has a wide equivalent, and vice versa, subject to an arbitrarily small error. Interestingly, the quasi-equivalence between wide and deep classification ReLU networks is a data-driven version of the De Morgan law.

연구 동기 및 목표

• 인공 신경망이 아키텍처 설계에서 깊이 또는 넓이를 본질적으로 선호하는지 여부를 조사하는 것.
• ReLU 네트워크에서 넓이와 깊이 간의 기본 상호작용 메커니즘을 탐색하는 것.
• 넓은 네트워크와 깊은 네트워크 간의 변환을 유지하면서도 네트워크의 능력을 그대로 보존하는 이론적 변환을 수립하는 것.
• 원래 네트워크와 변환된 네트워크 간의 근사 오차가 임의로 작은 값이 되는 조건에서 넓고 깊은 ReLU 네트워크가 준등가임을 보여주는 것.
• 분류 네트워크의 맥락에서 드 모르간의 법칙의 데이터 기반 유사체를 드러내는 것.

제안 방법

• 임의의 ReLU 네트워크를 동일한 기능 능력을 가지며 동등한 넓은 네트워크로 매핑하는 변환을 제안하는 것.
• 동일한 네트워크를 동등한 깊은 네트워크로 매핑하는 이중 변환을 개발하며, 회귀 또는 분류 성능을 유지하는 것.
• 넓이와 깊이 변형 모두가 동일한 출력을 내며 오차가 임의로 작은 ε 이내로 제한되도록 대칭적 구성 원칙을 사용하는 것.
• 이 변환을 회귀 및 분류 작업에 적용하여 네트워크의 표현력을 유지하는 것.
• ReLU 활성화 함수의 구조와 조각별 선형 함수 표현을 활용하여 넓이-깊이 이중성 구현하는 것.
• 정확한 등가성은 요구되지 않으며, 작은 오차에 대한 관寕인 점을 고려하여 등가성을 준등가성으로 공식화하는 것.

실험 결과

연구 질문

• RQ1 깊은 ReLU 네트워크를 기능 능력이 동일한 넓은 네트워크로 변환할 수 있는가?
• RQ2 넓은 ReLU 네트워크를 성능이 동일한 깊은 네트워크로 변환할 수 있는가?
• RQ3 ReLU 네트워크에서 넓이와 깊이 간의 이중성의 수학적 메커니즘은 무엇인가?
• RQ4 준등가성은 분류 설정에서 드 모르간의 법칙과 같은 논리적 이중성과 어떻게 관련이 있는가?
• RQ5 원래 네트워크와 변환된 네트워크 간의 근사 오차는 어느 정도 제어할 수 있는가?

주요 결과

• 임의의 ReLU 네트워크는 임의로 작은 오차 ε 이내로 원래 함수를 근사하는 동등한 넓은 네트워크로 변환될 수 있다.
• 동일한 네트워크는 오차가 ε 이내로 제한되는 동일한 기능 능력을 유지하는 깊은 네트워크로도 변환될 수 있다.
• 준등가성은 회귀 및 분류 작업 모두에 대해 넓고 깊은 네트워크 간에 성립한다.
• 네트워크 아키텍처의 이중성은 분류 맥락에서 드 모르간의 법칙과 공식적으로 유사하며, 논리적 대칭성을 시사한다.
• 이 변환은 구축 가능하고 대칭적이며, 표현력을 유지하면서 넓이와 깊이 간의 이중 방향 변환을 가능하게 한다.
• 결과적으로 깊이와 넓이는 본질적으로 선호되지 않으며, 제안된 변환 하에서는 상호 교환 가능하다.