[논문 리뷰] Probabilistic Neural Network with Complex Exponential Activation Functions in Image Recognition using Deep Learning Framework

A. Savchenko|arXiv (Cornell University)|2017. 08. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 4

한 줄 요약

이 논문은 기존의 가우시안 파르젠 커널 대신 푸아리어 커널을 기반으로 한 복소 지수 활성화 함수를 도입한 수정된 확률적 신경망(PNN)을 제안한다. 이로 인해 패턴 레이어의 뉴런 수가 데이터베이스 크기에서 약 제곱근의 세제곱근 크기로 감소하며, 이는 메모리 및 런타임 복잡도를 크게 낮추지만 빠른 학습과 베이지안 최적성은 유지한다. 이는 소형 이미지 데이터셋에서의 물체 인식 및 얼굴 인식 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

If the training dataset is not very large, image recognition is usually implemented with the transfer learning methods. In these methods the features are extracted using a deep convolutional neural network, which was preliminarily trained with an external very-large dataset. In this paper we consider the nonparametric classification of extracted feature vectors with the probabilistic neural network (PNN). The number of neurons at the pattern layer of the PNN is equal to the database size, which causes the low recognition performance and high memory space complexity of this network. We propose to overcome these drawbacks by replacing the exponential activation function in the Gaussian Parzen kernel to the complex exponential functions in the Fejér kernel. We demonstrate that in this case it is possible to implement the network with the number of neurons in the pattern layer proportional to the cubic root of the database size. Thus, the proposed modification of the PNN makes it possible to significantly decrease runtime and memory complexities without loosing its main advantages, namely, extremely fast training procedure and the convergence to the optimal Bayesian decision. An experimental study in visual object category classification and unconstrained face recognition with contemporary deep neural networks have shown, that our approach obtains very efficient and rather accurate decisions for the small training sample in comparison with the well-known classifiers.

연구 동기 및 목표

• 기존의 확률적 신경망(PNN)은 학습 샘플 수와 비례하는 뉴런 수를 가지므로 데이터베이스 크기에 따라 선형적으로 증가하는 높은 메모리 및 계산 복잡도 문제를 해결하기 위해.
• 이전에 사용되던 전이 학습 기법이 여전히 확장성 문제를 안고 있는 소규모 학습 데이터에서의 이미지 인식 작업에서 PNN의 효율성을 향상시키기 위해.
• 기존 PNN의 핵심 이점인 극도로 빠른 학습과 베이지안 최적 결정 수렴 성질을 유지하면서 모델 크기를 줄이기 위해.
• 기존의 가우시안 파르젠 커널 대신 푸아리어 커널에서 유도된 복소 지수 함수를 PNN에 적용하여 대체할 수 있는지 탐색하기 위해.

제안 방법

• 가우시안 파르젠 커널의 지수 활성화 함수를 푸아리어 커널에서 유도된 복소 지수 함수로 대체하여 확률 밀도 함수를 모델링한다.
• 푸아리어 커널의 성질을 활용해 학습 데이터의 압축된 표현을 가능하게 하여 필요한 패턴 레이어 뉴런 수를 줄인다.
• 패턴 레이어의 뉴런 수를 전체 데이터베이스 크기 대신 데이터베이스 크기의 세제곱근 비례로 설계하여 메모리 및 계산 복잡도를 크게 감소시킨다.
• 대규모 데이터셋에서 사전 학습된 깊은 합성곱 신경망(CNN)으로부터 추출한 특징 벡터에 수정된 PNN을 적용하여 소규모 데이터셋에서의 전이 학습을 가능하게 한다.
• 학습 샘플을 패턴 레이어 뉴런으로 직접 사용하는 비모수적 방식으로 PNN을 학습하지만, 커널 기반 압축을 통해 뉴런 수를 감소시킨다.
• 복소수 활성화 함수를 활용하여 모델 크기와 추론 시간을 줄이면서도 분류 성능 유지를 유지한다.

실험 결과

연구 질문

• RQ1 푸아리어 커널에서 유도된 복소 지수 활성화 함수를 사용해 PNN의 패턴 레이어 뉴런 수를 줄일 수 있는가? 이로 인해 분류 정확도가 떨어지지 않는가?
• RQ2 가우시안 파르젠 커널을 복소 지수 커널로 대체해도 PNN가 최적의 베이지안 결정으로 수렴하는가?
• RQ3 패턴 뉴런 수를 데이터베이스 크기의 세제곱근으로 설정함으로써 PNN의 메모리 및 런타임 복잡도를 얼마나 줄일 수 있는가?
• RQ4 소규모 학습 데이터셋에서의 이미지 인식 작업에서 제안된 PNN은 기존 분류기와 비교해 정확도 및 효율성 면에서 어떻게 성능을 내는가?
• RQ5 제한된 학습 샘플이 있는 실세계 작업, 예를 들어 물체 카테고리 분류 및 비제약 조건의 얼굴 인식에서 수정된 PNN은 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 PNN는 복소 지수 활성화 함수를 사용해 패턴 레이어의 뉴런 수를 전체 데이터베이스 크기에서 약 데이터베이스 크기의 세제곱근 수준으로 줄여, 메모리 및 런타임 복잡도를 크게 감소시켰다.
• 수정된 PNN는 빠른 학습과 최적의 베이지안 결정 수렴 성질을 유지하여 기존 PNN의 핵심 이점을 그대로 보존했다.
• 시각적 물체 카테고리 분류 작업에서, 매우 소규모 학습 세트 조건에서도 최신 기준 분류기들과 경쟁 가능한 정확도를 달성했다.
• 비제약 조건의 얼굴 인식 작업에서는 높은 정확도와 강인성을 보였으며, 제한된 학습 데이터에서 몇 가지 잘 알려진 분류기들을 능가했다.
• 실험 결과는 복잡도 감소가 성능에 영향을 주지 않음을 확인했으며, 이는 자원이 제한된 환경이나 소규모 데이터 환경에서의 적용에 적합한 방법임을 시사한다.