[논문 리뷰] On the Expressive Power of Overlapping Operations of Deep Networks.

Or Sharir, Amnon Shashua|arXiv (Cornell University)|2017. 03. 06.

Ferroelectric and Negative Capacitance Devices인용 수 3

한 줄 요약

이 논문은 컨볼루션 스트라이드가 필터 크기보다 작을 때 발생하는 겹치는 컨볼루션(convolution)이 딥 네ural 네트워크의 표현 능력을 어떻게 향상시키는지 조사한다. 컨볼루션 산술 회로(Convolutional Arithmetic Circuits, ConvACs)를 이론적 모델로 사용하여, 겹치는 연산이 표현 능력을 지수적으로 증가시켜 현대의 아키텍처가 완전 연결 층에 의존하지 않더라도 얕은 대안보다 본질적으로 더 강력하다는 것을 보여준다.

ABSTRACT

Expressive efficiency refers to the relation between two architectures A and B, whereby any function realized by B could be replicated by A, but there exists functions realized by A, which cannot be replicated by B unless its size grows significantly larger. For example, it is known that deep networks are exponentially efficient with respect to shallow networks, in the sense that a shallow network must grow exponentially large in order to approximate the functions represented by a deep network of polynomial size. In this work, we extend the study of expressive efficiency to the attribute of network connectivity and in particular to the effect of overlaps in the convolutional process, i.e., when the stride of the convolution is smaller than its filter size (receptive field). To theoretically analyze this aspect of network's design, we focus on a well-established surrogate for ConvNets called Convolutional Arithmetic Circuits (ConvACs), and then demonstrate empirically that our results hold for standard ConvNets as well. Specifically, our analysis shows that having overlapping local receptive fields, and more broadly denser connectivity, results in an exponential increase in the expressive capacity of neural networks. Moreover, while denser connectivity can increase the expressive capacity, we show that the most common types of modern architectures already exhibit exponential increase in expressivity, without relying on fully-connected layers.

연구 동기 및 목표

• 겹치는 컨볼루션의 작용이 딥 네트워크의 표현 효율성에 미치는 영향를 이해하는 것.
• 밀도 높은 연결성이 신경 아키텍처의 표현 능력을 증가시키는 데서 수행하는 역할를 분석하는 것.
• 현대의 컨볼루션 아키텍처가 완전 연결 층에 의존하지 않고도 지수적 표현 이점을 달성하는지 여부를 규명하는 것.

제안 방법

• 연구는 표준 ConvNets의 이론적 대체 모델로 컨볼루션 산술 회로(ConvACs)를 사용하여 표현 효율성을 분석한다.
• 표현 효율성을 다른 아키텍처가 표현할 수 있는 기능을 표현하기 위해 필요한 네트워크 크기의 관점에서 수식화한다.
• 분석은 스트라이드 < 필터 크기인 겹치는 局부 수용장역(로컬 수용장역)의 영향에 집중한다.
• 이론적 유도 결과로, 겹치는 컨볼루션은 표현 가능한 기능의 수가 지수적으로 증가함을 보여준다.
• 실증적 검증은 표준 ConvNets에서 수행되어 이론적 결과가 실무에서도 성립함을 확인한다.
• 다양한 정도의 연결성을 가진 아키텍처를 비교하여 겹침이 표현 능력에 미치는 영향을 분리 분석한다.

실험 결과

연구 질문

• RQ1 겹치는 컨볼루션 연산은 딥 네트워크의 표현 능력에 어떻게 영향을 미치는가?
• RQ2 겹치는 수용장역을 통한 더 밀도 높은 연결성은 표현 능력을 어느 정도 향상시키는가?
• RQ3 현대의 컨볼루션 아키텍처는 완전 연결 층 없이도 지수적 표현 효율성을 달성할 수 있는가?
• RQ4 겹치는 컨볼루션의 표현 이점은 수학적으로 정량화 가능하며, 표준 ConvNets로도 일반화 가능한가?

주요 결과

• 겹치는 컨볼루션은 비겹치는 대비 표현 능력이 지수적으로 증가함을 보여준다.
• 겹치는 수용장역을 통한 더 밀도 높은 연결성은 표현 가능한 기능의 수를 크게 증가시킨다.
• ConvACs를 사용한 이론적 분석 결과, 겹치는 연산이 지수적 표현 효율성을 초래함을 확인했다.
• 현대의 컨볼루션 아키텍처는 완전 연결 층 없이도 이미 지수적 표현 이득을 보이고 있다.
• 실증 결과로 ConvACs에 대한 이론적 발견이 표준 ConvNets로 일반화됨을 확인했다.