[논문 리뷰] Impostor Networks for Fast Fine-Grained Recognition

Vadim Lebedev, Artem Babenko외 1명|arXiv (Cornell University)|2018. 06. 13.

Advanced Neural Network Applications참고 문헌 25인용 수 3

한 줄 요약

이 논문은 CPU 전용 및 저전력 플랫폼에서 높은 정확도의 세분화된 이미지 인식을 가능하게 하는 경량 딥러닝 아키텍처인 '모조 네트워크(impover networks)'를 소개한다. 이는 소형 컨볼루션 네트워크(예: SqueezeNet)와 학습 가능한 비모수적 원형기반함수(RBF) 분류기를 조합한 것으로, RBF 중심(모조)이 학습 샘플에 고정되지 않고 학습 중에 진화함으로써 특징 추출기와 RBF 분류기를 함께 학습함으로써 기준 네트워크보다 뚜렷한 정확도 향상을 이룬다. 계산 비용은 최소한으로 유지된다.

ABSTRACT

In this work we introduce impostor networks, an architecture that allows to perform fine-grained recognition with high accuracy and using a light-weight convolutional network, making it particularly suitable for fine-grained applications on low-power and non-GPU enabled platforms. Impostor networks compensate for the lightness of its `backend' network by combining it with a lightweight non-parametric classifier. The combination of a convolutional network and such non-parametric classifier is trained in an end-to-end fashion. Similarly to convolutional neural networks, impostor networks can fit large-scale training datasets very well, while also being able to generalize to new data points. At the same time, the bulk of computations within impostor networks happen through nearest neighbor search in high-dimensions. Such search can be performed efficiently on a variety of architectures including standard CPUs, where deep convolutional networks are inefficient. In a series of experiments with three fine-grained datasets, we show that impostor networks are able to boost the classification accuracy of a moderate-sized convolutional network considerably at a very small computational cost.

연구 동기 및 목표

• 모바일 디바이스와 같은 저전력 GPU가 없는 플랫폼에 고정확도 세분화된 이미지 분류기를 구현하는 도전 과제를 해결한다.
• 최신 딥러닝 네트워크의 계산 및 모델 크기 부담을 줄이면서도 분류 정확도를 유지하거나 향상시킨다.
• 경량 CNN의 표현 능력이 제한된 점을 보완하기 위해 학습 가능한 비모수적 분류기(RBF)의 사용을 탐색한다.
• RBF 중심(모조)이 학습 중에 학습 예제에서 벗어나도록 허용함으로써 일반화 능력과 오픈세트 탐지 성능을 향상시킨다.
• CNN과 RBF 분류기의 종단간(end-to-end) 공동 학습이 작고 효율적인 네트워크에서도 강력한 성능을 낼 수 있음을 입증한다.

제안 방법

• 경량 컨볼루션 네트워크(예: SqueezeNet) 다음에 중심이 고정되지 않은 학습 가능한 RBF 분류기를 연결한 하이브리드 아키텍처를 제안한다.
• 교차 엔트로피와 유사한 이웃성분 분석(NCA) 항목을 포함한 손실 함수를 사용해 전체 시스템을 종단간으로 학습시킨다.
• RBF 중심(모조)을 특정 학습 샘플에 묶이지 않은 학습 가능한 파라미터로 허용하여 최적화 과정에서 이동 가능하게 한다.
• 고차원의 CNN 특징을 RBF 분류기의 입력으로 사용하며, L2 거리 기반 가중 투표 방식으로 분류를 수행한다.
• 세 가지 학습 변형을 적용한다: 고정된 모조(학습 특징로 초기화), 느슨한 모조(학습 가능한 파라미터로 업데이트), 하이브리드 접근 방식.
• 정규화, 양자화 등의 표준 모델 압축 기법을 적용해 정확도 저하 없이 메모리 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 경량 CNN과 학습 가능한 비모수적 분류기(RBF)를 조합하면 저전력 하드웨어에서 높은 세분화된 인식 정확도를 달성할 수 있는가?
• RQ2 RBF 중심(모조)을 학습 중에 고정하지 않고 진화시킬 경우, 일반화 능력과 정확도가 향상되는가?
• RQ3 시험 시 알려지지 않은 클래스가 존재하는 오픈세트 인식 환경에서 모조 네트워크는 어떻게 성능을 내는가?
• RQ4 표준 CNN과 비교해 모조 네트워크의 계산 및 메모리 오버헤드는 어느 정도이며, 압축을 통해 줄일 수 있는가?
• RQ5 SqueezeNet과 같은 작은 네트워크의 성능은 이 방법을 통해 어느 정도 향상될 수 있는가?

주요 결과

• 모조 네트워크는 CUB-200-2011 및 Stanford Cars와 같은 세분화된 데이터셋에서 중간 크기의 CNN(예: SqueezeNet)의 분류 정확도를 크게 향상시키며, 계산 비용은 최소한으로 유지된다.
• RBF 중심이 종단간으로 학습되는 느슨한 모조 변형이 가장 높은 정확도를 기록하여, 학습 가능한 비고정 중심이 일반화 능력을 향상시킨다는 것을 입증한다.
• CUB-200-2011 데이터셋에서 SqueezeNet 기반 모조 네트워크는 표준 교차 엔트로피 기반 베이스라인을 크게 앞서며, 더 깊은 모델조차도 정확도에서 뛰어나지만 훨씬 빠른 속도를 보인다.
• 오픈세트 인식 능력 향상: 알려지지 않은 클래스(예: 비새로운 이미지)에서 모조 네트워크는 더 높은 엔트로피(낮은 신뢰도)를 보이며, 표준 CNN보다 더 나은 불확실성 추정 능력을 보인다.
• 모조 네트워크의 메모리 오버헤드는 극히 작으며, 정규화, 양자화 등의 압축 기법을 통해 추가로 줄일 수 있고 정확도 저하 없이 유지된다.
• 이 방법은 CPU에서 효율적인 추론을 가능하게 하여, GPU 가속이 필요한 깊은 모델과 달리 모바일 및 엣지 배포에 적합하다.