[논문 리뷰] Deep Convolutional Networks are Hierarchical Kernel Machines

Fabio Anselmi, Lorenzo Rosasco외 2명|arXiv (Cornell University)|2015. 08. 05.

Neural Networks and Applications참고 문헌 24인용 수 18

한 줄 요약

이 논문은 딥 컨volution 뉴럴 네트워크(DCNs)가 군 평균화된 리쿠티드 비선형성들을 통해 커널을 계산하는 계층적 커널 머신과 수학적으로 동치임을 입증한다. 주요 기여는 ReLU 활성화 함수와 풀링을 갖는 DCN이 정확히 계층적 커널 머신으로 표현될 수 있음을 보여주는 이론적 프레임워크를 제공하는 것이다. 이는 일반화 및 불변성 성질에 대한 새로운 통찰을 제공한다.

ABSTRACT

In i-theory a typical layer of a hierarchical architecture consists of HW modules pooling the dot products of the inputs to the layer with the transformations of a few templates under a group. Such layers include as special cases the convolutional layers of Deep Convolutional Networks (DCNs) as well as the non-convolutional layers (when the group contains only the identity). Rectifying nonlinearities -- which are used by present-day DCNs -- are one of the several nonlinearities admitted by i-theory for the HW module. We discuss here the equivalence between group averages of linear combinations of rectifying nonlinearities and an associated kernel. This property implies that present-day DCNs can be exactly equivalent to a hierarchy of kernel machines with pooling and non-pooling layers. Finally, we describe a conjecture for theoretically understanding hierarchies of such modules. A main consequence of the conjecture is that hierarchies of trained HW modules minimize memory requirements while computing a selective and invariant representation.

연구 동기 및 목표

• 딥 컨볼루션 네트워크(DCNs)와 계층적 커널 머신 간의 이론적 동치성을 수립하기.
• 복잡성에도 불구하고 DCN이 잘 일반화되는 이유를 불변성과 선택성 특성을 갖는 커널 방법과 연결함으로써 설명하기.
• i-이론을 사용하여 계층적 모듈이 어떻게 불변 표현을 계산하는지 기술하는 형식적 프레임워크 제공하기.
• 학습된 계층적 가중치 공유(HW) 모듈이 메모리 사용을 최소화하면서도 선택적이고 불변적인 특징을 계산할 수 있다는 추측 제안하기.

제안 방법

• i-이론을 사용하여 DCN의 각 레이어를 입력과 변환된 템플릿 간의 군 평균화된 내적 곱으로 계산하는 계층적 모듈(HW 모듈)로 모델링한다.
• 내적 곱에 대해 리쿠티드 비선형성(예: ReLU)을 적용하여 비선형 특징 맵을 형성한다.
• 이러한 수정된 출력의 선형 조합이 커널 함수와 동치임을 보여주어 네트워크의 정확한 커널 머신 해석이 가능함을 입증한다.
• 레이어의 출력이 양의 정부호 커널임을 도출하며, 특히 ReLU로 활성화된 내적 곱의 합으로 표현됨을 보여준다.
• 반경 기반 기저 함수와 커널 방법 이론을 사용하여 DCN 레이어와 커널 머신 간의 동치성을 체계화한다.
• 계층적 학습된 HW 모듈이 선택적이고 불변적인 특징 표현을 달성하면서도 메모리 사용을 최소화한다는 추측을 제안한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크는 정확히 계층적 커널 머신의 계층으로 표현될 수 있는가?
• RQ2 DCN의 리쿠티드 비선형성은 특징 공간에서 커널 함수와 어떻게 관련이 있는가?
• RQ3 DCN이 계층적 특징 학습에서 불변성과 선택성을 달성하는 수학적 메커니즘은 무엇인가?
• RQ4 커널 이론과 군 평균화를 통해 DCN의 성능과 일반화 능력을 이론적으로 설명할 수 있는가?
• RQ5 가중치 공유와 풀링은 불변 표현을 유지하면서 메모리 사용을 최소화하는 데 어떤 역할을 하는가?

주요 결과

• ReLU 활성화 함수와 풀링을 갖는 DCN은 군 평균화된 리쿠티드 비선형성을 통해 커널을 계산하는 계층적 커널 머신과 수학적으로 동치이다.
• DCN 레이어의 출력은 ReLU로 활성화된 내적 곱의 합으로 표현될 수 있으며, 이는 양의 정부호 커널 함수를 형성한다.
• 레이어 내부의 수정된 비선형성의 선형 조합은 커널 함수와 동치이며, 이는 네트워크의 정확한 커널 머신 해석을 가능하게 한다.
• 이론적 분석을 통해 이러한 커널 머신이 선택적이고 불변적인 표현을 계산하면서도 메모리 사용을 최소화함을 보여주며, 이는 추측을 통해 체계화되었다.
• 커널 중심과 계수의 기울기 업데이트 방식은 작업에 따라 조정되는 클러스터링과 유사하여, k-means와 유사한 효율적인 최적화 방법이 가능함을 시사한다.
• 이 프레임워크는 DCN이 잘 일반화되는 이유를 이론적으로 설명하는 기초를 제공하며, 성공의 근본 원인을 커널 기반의 불변성과 특징 선택과 연결한다.