[논문 리뷰] Deep SimNets

Nadav Cohen, Or Sharir외 1명|arXiv (Cornell University)|2015. 06. 09.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 유사도 함수와 로그-평균-지수(MEX) 연산자를 사용하여 컨볼루션 네트워크(ConvNets)를 일반화하는 딥 레이어드 아키텍처인 SimNets를 소개한다. 이는 더 높은 표현력을 가능하게 한다. 내적 연산을 학습 가능한 유사도 함수로 대체하고, MEX를 사용해 특징을 집계함으로써 SimNets는 실행 시간 제약 조건 하에서 기존 ConvNets보다 뛰어난 정확도를 달성하면서도, 대규모 환경에서 정규화를 통해 최신 기술 수준의 성능을 유지한다.

ABSTRACT

We present a deep layered architecture that generalizes convolutional neural networks (ConvNets). The architecture, called SimNets, is driven by two operators: (i) a similarity function that generalizes inner-product, and (ii) a log-mean-exp function called MEX that generalizes maximum and average. The two operators applied in succession give rise to a standard neuron but in space. The feature spaces realized by SimNets depend on the choice of the similarity operator. The simplest setting, which corresponds to a convolution, realizes the feature space of the Exponential kernel, while other settings realize feature spaces of more powerful kernels (Generalized Gaussian, which includes as special cases RBF and Laplacian), or even dynamically learned feature spaces (Generalized Multiple Kernel Learning). As a result, the SimNet contains a higher abstraction level compared to a traditional ConvNet. We argue that enhanced expressiveness is important when the networks are small due to run-time constraints (such as those imposed by mobile applications). Empirical evaluation validates the superior expressiveness of SimNets, showing a significant gain in accuracy over ConvNets when computational resources at run-time are limited. We also show that in large-scale settings, where computational complexity is less of a concern, the additional capacity of SimNets can be controlled with proper regularization, yielding accuracies comparable to state of the art ConvNets.

연구 동기 및 목표

• 실행 시간 계산 제약 조건 하에서 표준 ConvNets의 제한된 표현력 문제를 해결하기 위해.
• 새로운 미분 가능한 연산자를 통해 컨볼루션 네트워크를 일반화하는 딥 아키텍처를 개발하기 위해.
• 일반화된 커널 함수를 통해 데이터에 적응하는 특징 공간 학습을 가능하게 하기 위해.
• 강화된 용량의 정규화를 통한 통제로 대규모 설정에서 높은 정확도를 유지하기 위해.
• 자원 제한 및 대규모 학습 작업에서 향상된 성능을 입증하기 위해.

제안 방법

• 아키텍처는 표준 뉴런의 내적 연산을 일반화하기 위해 유사도 함수를 사용한다.
• MEX(로그-평균-지수) 연산자는 평균 풀링과 최대 풀링을 모두 일반화하여, 미분 가능한 집계를 가능하게 한다.
• 유사도와 MEX의 조합은 특징 공간에서 작동하는 일반화된 뉴런을 형성한다.
• 다양한 유사도 함수는 RBF, 라플라스, 일반화된 다중 커널 학습 등 다양한 커널 유도 특징 공간을 실현한다.
• 유사도 연산자의 엔드 투 엔드 학습을 통해 동적으로 학습 가능한 특징 공간을 지원한다.
• 대규모 설정에서 용량을 통제하기 위해 정규화를 적용하여 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 유사도 기반 연산을 사용하여 딥 아키텍처가 ConvNets를 일반화해 표현력을 향상시킬 수 있는가?
• RQ2 MEX 연산자는 평균 풀링과 최대 풀링을 어떻게 통합된 방식으로 미분 가능하게 하는가?
• RQ3 계산 제약 조건 하에서 일반화된 커널 기반 특징 공간을 사용할 경우 모델 정확도에 어떤 영향을 미치는가?
• RQ4 정규화를 적용했을 때 SimNets는 대규모 설정에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 SimNets의 향상된 표현력이 자원이 제한된 추론 환경에서 측정 가능한 정확도 향상으로 이어지는가?

주요 결과

• 계산 자원이 제한된 조건에서 SimNets는 표준 ConvNets보다 뚜렷한 정확도 향상을 달성한다.
• 일반화된 커널 함수(예: 일반화된 가우시안)의 사용은 표준 컨볼루션보다 richer한 특징 표현을 가능하게 한다.
• 대규모 설정에서 적절한 정규화를 통해 SimNets는 최신 기술 수준의 ConvNet 성능을 재현할 수 있다.
• 엔드 투 엔드 학습을 통한 유사도 연산자 학습을 통해 동적으로 학습 가능한 특징 공간을 지원한다.
• MEX 연산자는 최대 풀링과 평균 풀링의 미분 가능한 통합 대안을 제공한다.
• 유사도 기반 공식화는 내적을 일반화하여 고정 커널을 초월한 특징 공간 학습을 가능하게 한다.