[논문 리뷰] Inductive Bias of Deep Convolutional Networks through Pooling Geometry

Nadav Cohen, Amnon Shashua|arXiv (Cornell University)|2016. 05. 22.

Advanced Neural Network Applications참고 문헌 17인용 수 44

한 줄 요약

이 논문은 풀링 기하학을 통해 딥 컨volution 신경망의 인덕티브 바이어스를 규명하며, 연속적인 풀링 창자가 자연 이미지 내 강한 상관관계를 모델링하기 위해 상호 뒤섞인 입력 분할을 선호함으로써 지수적 수준의 높은 분리 랭크를 가능하게 한다는 점을 보여준다. 주요 기여는 풀링 기하학이 네트워크의 의미 있는 공간 상관관계를 포착하는 능력을 어떻게 형성하는지를 체계적으로 규명한 것이다. 이는 표준 아키텍처가 시각 작업에 잘 일반화되는 이유를 설명한다.

ABSTRACT

Our formal understanding of the inductive bias that drives the success of convolutional networks on computer vision tasks is limited. In particular, it is unclear what makes hypotheses spaces born from convolution and pooling operations so suitable for natural images. In this paper we study the ability of convolutional networks to model correlations among regions of their input. We theoretically analyze convolutional arithmetic circuits, and empirically validate our findings on other types of convolutional networks as well. Correlations are formalized through the notion of separation rank, which for a given partition of the input, measures how far a function is from being separable. We show that a polynomially sized deep network supports exponentially high separation ranks for certain input partitions, while being limited to polynomial separation ranks for others. The network's pooling geometry effectively determines which input partitions are favored, thus serves as a means for controlling the inductive bias. Contiguous pooling windows as commonly employed in practice favor interleaved partitions over coarse ones, orienting the inductive bias towards the statistics of natural images. Other pooling schemes lead to different preferences, and this allows tailoring the network to data that departs from the usual domain of natural imagery. In addition to analyzing deep networks, we show that shallow ones support only linear separation ranks, and by this gain insight into the benefit of functions brought forth by depth - they are able to efficiently model strong correlation under favored partitions of the input.

연구 동기 및 목표

• 깊이 있는 컨볼루션 네트워크의 인덕티브 바이어스에 대한 이론적 이해가 제한되어 있음에도 불구하고 자연 이미지 작업에서 왜 그렇게 잘 일반화되는지 이해하기 위해.
• 딥 네트워크에서 풀링 기하학이 입력 데이터의 공간 영역 간 상관관계를 모델링하는 능력에 어떻게 영향을 미치는지 분석하기 위해.
• 입력 분할 간 상관관계 강도를 측정하는 데 분리 랭크를 사용하여 컨볼루션 네트워크의 인덕티브 바이어스를 체계화하기 위해.
• 풀링 기하학 덕분에 특정 분할—특히 뒤섞인 분할—에 대해 깊이 있는 네트워크가 지수적 수준의 높은 분리 랭크를 달성할 수 있음을 보여주기 위해.
• 얕은 네트워크와의 대조를 통해 깊이가 유리한 입력 분할 조건 하에서 강한 상관관계를 효율적으로 모델링하는 데 기여함을 보여주기 위해.

제안 방법

• 서로소 입력 분할 간 상관관계를 공식적으로 측정하기 위해 분리 랭크를 사용하며, 함수가 분리 가능함으로부터 얼마나 떨어져 있는지를 정량화한다.
• 선형 활성화와 곱셈 풀링을 갖는 컨볼루션 산술 회로를 분석하여 분리 랭크에 대한 이론적 한계를 도출한다.
• 깊이 있는 네트워크가 뒤섞인 분할(예: 번갈아 가며 배열된 공간 영역)에 대해 지수적 수준의 높은 분리 랭크를 달성할 수 있음을 증명하며, 거친 분할에 대해서는 다항식 또는 선형 랭크로 제한됨을 보여준다.
• 실제로 널리 쓰이는 연속적인 풀링 창자가 자연스럽게 뒤섞인 분할을 선호함을 보여주며, 이는 자연 이미지의 통계적 구조와 일치한다.
• 분리 랭크의 한계를 정규화된 L² 거리로 변환하여 분리 가능 함수로부터의 거리 측정을 제공함으로써, 더 해석 가능한 상관관계 모델링 측정 기준을 도입한다.
• 컨볼루션 산술 회로와 ReLU 기반 네트워크(최대/평균 풀링 포함)에 대한 실험적 검증을 통해, 풀링 기하학이 인덕티브 바이어스를 형성하는 데 기여한다는 것을 확인한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크에서 풀링 기하학은 입력 이미지의 공간 영역 간 상관관계를 모델링하는 데 어떤 영향을 미치는가?
• RQ2 실제로 널리 쓰이는 연속적인 풀링 창자를 갖는 표준 컨볼루션 네트워크가 이론적 이해가 제한된 상태에서도 자연 이미지에서 왜 잘 일반화되는가?
• RQ3 네트워크의 깊이, 풀링 구조, 그리고 학습된 함수의 분리 랭크 사이의 관계는 무엇인가?
• RQ4 깊이 있는 네트워크의 인덕티브 바이어스는 공간 상관관계를 모델링할 때 얕은 네트워크와 어떻게 다를까?
• RQ5 풀링 기하학을 활용하여 자연 이미지와 다를 비율의 데이터 분포에 맞게 네트워크를 맞춤화할 수 있는가?

주요 결과

• 연속적인 풀링 창자를 갖는 깊이 있는 컨볼루션 네트워크는 뒤섞인 입력 분할에 대해 지수적 수준의 높은 분리 랭크를 달성하며, 이는 강한 공간 상관관계를 효율적으로 모델링할 수 있음을 의미한다.
• 얕은 네트워크는 선형 분리 랭크로 제한되며, 이는 깊이가 복잡한 상관관계를 효율적으로 표현하는 데 필수적임을 보여준다.
• 풀링 기하학은 어떤 입력 분할이 선호되는지를 결정한다—연속적인 풀링은 뒤섞인 분할을 선호하며, 이는 자연 이미지의 통계적 구조와 일치한다.
• 컨볼루션 산술 회로는 거의 확실히 최대 분리 랭크를 달성한다(무게 설정의 영역이 0 측도를 갖는 경우를 제외하고), 이는 인덕티브 바이어스의 강건성을 시사한다.
• 실험 결과는 이론적 분리 랭크 행동이 ReLU 기반 네트워크(최대 또는 평균 풀링 포함)에서도 실제로 성립함을 확인한다.
• 정규화된 L² 거리 측정은 분리 랭크와 등가적인 측정 기준이지만, 가설 공간 전반에 걸쳐 분포가 복잡하고 비자명하다.