[논문 리뷰] SimNets: A Generalization of Convolutional Networks

Nadav Cohen, Amnon Shashua|arXiv (Cornell University)|2014. 10. 03.

Advanced Neural Network Applications참고 문헌 28인용 수 18

한 줄 요약

SimNets는 컨볼루션 신경망의 일반화를 위해 유사도 연산자와 새로운 MEX(소프트 최대-최소-평균) 활성화 함수를 도입한다. 이는 컨볼루션과 유사성을 유지하면서도 ReLU와 풀링을 일반화한다. 아키텍처는 유사한 ConvNet에 비해 9배 작고, 최신 기술 수준의 정확도를 달성하며, 자연스러운 비지도 학습 초기화를 지원하고, 커널 기반 모델보다 더 높은 추상화 수준을 제공한다.

ABSTRACT

We present a deep layered architecture that generalizes classical convolutional neural networks (ConvNets). The architecture, called SimNets, is driven by two operators, one being a similarity function whose family contains the convolution operator used in ConvNets, and the other is a new soft max-min-mean operator called MEX that realizes classical operators like ReLU and max pooling, but has additional capabilities that make SimNets a powerful generalization of ConvNets. Three interesting properties emerge from the architecture: (i) the basic input to hidden layer to output machinery contains as special cases kernel machines with the Exponential and Generalized Gaussian kernels, the output units being "neurons in feature space" (ii) in its general form, the basic machinery has a higher abstraction level than kernel machines, and (iii) initializing networks using unsupervised learning is natural. Experiments demonstrate the capability of achieving state of the art accuracy with networks that are an order of magnitude smaller than comparable ConvNets.

연구 동기 및 목표

• 기본적인 ConvNets의 핵심 연산을 더 추상적이고 커널 유사 프레임워크로 이행함으로써, 고전적 ConvNets를 일반화하는 딥 레이어드 아키텍처를 개발하는 것.
• 모델의 압축성 부족과 효과적인 비지도 초기화의 부재라는 ConvNets의 한계를 해결하기 위해, 비지도 데이터 기반의 자연스러운 초기화 기법을 도입하는 것.
• 커널 기반 기계 학습과 딥 러닝 간 격차를 메우기 위해, 커널 방법(예: 지수 및 일반화된 가우시안 커널을 사용하는 SVM)을 딥 네트워크 아키텍처 내에 통합하는 것.
• 비지도 특징 패턴의 분산 분 析를 통해 네트워크 깊이와 필터 수를 자동으로 결정할 수 있도록 하는 것.
• 제안된 아키텍처가 최신 기술 수준의 ConvNets에 비해 훨씬 적은 파라미터로도 뛰어난 성능 또는 동등한 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 학습 가능한 가중치를 가진 $ l_p $-노름을 사용하여 컨볼루션 내적 연산을 일반화하는 유사도 연산자를 도입함으로써, 기존 커널 기반 기계 학습보다 더 넓은 가설 공간을 제공한다.
• ReLU와 풀링 레이어를 일반화하는 소프트 최대-최소-평균 함수인 MEX 연산자를 제안하며, 학습 가능한 오프셋을 통해 특징 표현에 국소성 기반의 편향을 가능하게 한다.
• 각 레이어가 유사도 및 MEX 연산자를 순차적으로 적용하는 다층 커널 네트워크로 네트워크를 구성함으로써, 기존 ConvNet 레이어보다 더 높은 수준의 추상화를 가능하게 한다.
• 비지도 데이터에서 일반화된 가우시안 혼합 분포의 통계적 추정을 통해 비지도 초기화를 구현함으로써, 초기 파라미터와 필터 수를 자연스럽게 결정한다.
• 가중치가 부여된 $ l_p $ 유사도를 통해 커널-SVM의 가설 공간을 초월하며, 더 강력한 표현 능력을 지닌 새로운 빌딩 블록을 도입한다.
• 기본 SimNet 아키텍처를 구현하고, CIFAR-10에서 동일한 깊이의 ConvNets 및 이전 연구에서 제안한 단일 레이어 네트워크와의 성능을 비교 분석한다.

실험 결과

연구 질문

• RQ1 컨볼루션 네트워크를 일반화하면서도 더 높은 추상화 수준과 압축성을 제공하는 딥 네트워크 아키텍처를 설계할 수 있는가?
• RQ2 $ l_p $ 유사도 연산자에 학습 가능한 가중치를 포함함으로써, 기존 커널 기반 기계 학습을 초월한 표현 능력의 우월성이 나타나는가?
• RQ3 비지도 학습을 효과적으로 활용하여 SimNet의 초기 파라미터를 설정할 수 있으며, 이는 랜덤 초기화보다 성능이 뛰어나게 되는가?
• RQ4 비지도 데이터를 기반으로 분산 분석을 통해 네트워크 구조(예: 각 레이어의 필터 수)를 자동으로 결정할 수 있는가?
• RQ5 SimNets는 비교 가능한 ConvNets에 비해 훨씬 적은 파라미터로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SimNets는 CIFAR-10에서 학습 가능한 파라미터 수가 약 1/9에 불과한 상태에서 최신 기술 수준의 ConvNets와 동등하거나 뛰어난 정확도를 달성했다.
• $ l_p $ 유사도 연산자에 가중치를 포함시킴으로써, 파라미터 수에 비례해 초선형적으로 성능 향상이 이루어졌으며, 이는 커널-SVM을 초월한 표현 능력의 우월성을 시사한다.
• 일반화된 가우시안 혼합 분포 추정 기반의 비지도 초기화가, 특히 작은 네트워크 설정에서 랜덤 초기화보다 뛰어난 성능을 보였다.
• 학습 가능한 오퍼셋을 가진 MEX 레이어가 기존 ConvNets에서 표현할 수 없는 국소성 기반의 편향을 가능하게 하여, 더 높은 모델링 유연성을 제공함을 시사한다.
• 비지도 특징 패턴의 분산 분석을 통해 자연스럽게 필터 수를 자동으로 결정할 수 있으며, 이는 데이터 기반의 네트워크 아키텍처 설계를 가능하게 한다.
• 가중치가 부여된 $ l_p $ 유사도 연산자는 기존 커널-SVM 프레임워크로는 실현할 수 없으며, 이는 기존 커널 기반 기계 학습보다 더 큰 가설 공간에 접근할 수 있음을 증명한다.