[논문 리뷰] Deep Spatial Pyramid: The Devil is Once Again in the Details

Bin-Bin Gao, Xiu-Shen Wei외 2명|arXiv (Cornell University)|2015. 04. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 41

한 줄 요약

이 논문은 깊이 있는 컨volution 네트워크 특징을 최적화된 설계 선택을 통해 활용하는 간단하면서도 높은 정확도를 보이는 이미지 분류 프레임워크인 딥 스페이셜 피라미드(DSP)를 제안한다: $π_{2}$ 행렬 정규화, 자연스러운 스페이셜 피라미드, 그리고 피셔 벡터에서 작은 $K$ 값. DSP는 SUN397에서 59.78% 및 Caltech-101에서 95.11%의 최신 기준(SOTA) 정확도를 달성하면서도 높은 효율성과 낮은 메모리 사용량을 유지한다.

ABSTRACT

In this paper we show that by carefully making good choices for various detailed but important factors in a visual recognition framework using deep learning features, one can achieve a simple, efficient, yet highly accurate image classification system. We first list 5 important factors, based on both existing researches and ideas proposed in this paper. These important detailed factors include: 1) $\ell_2$ matrix normalization is more effective than unnormalized or $\ell_2$ vector normalization, 2) the proposed natural deep spatial pyramid is very effective, and 3) a very small $K$ in Fisher Vectors surprisingly achieves higher accuracy than normally used large $K$ values. Along with other choices (convolutional activations and multiple scales), the proposed DSP framework is not only intuitive and efficient, but also achieves excellent classification accuracy on many benchmark datasets. For example, DSP's accuracy on SUN397 is 59.78%, significantly higher than previous state-of-the-art (53.86%).

연구 동기 및 목표

• 이미지 분류에서 깊이 특징 성능에 크게 영향을 주는 중요하지만 자주 간과되는 구현 세부 사항을 규명하고 체계적으로 평가하는 것.
• 네트워크 아키텍처와 사전학습을 초월한 깊이 특징 표현에 최적의 선택을 위한 종합적인 연구가 부족한 문제를 해결하는 것.
• 이러한 요소에 대한 최고의 선택을 통합한 실용적이고 효율적이며 정확한 프레임워크인 딥 스페이셜 피라미드(DSP)를 개발하는 것.
• 복잡한 모델 아키텍처 없이도 저수준 설계 결정의 정교한 공학적 처리가 상당한 성능 향상을 이끌 수 있음을 입증하는 것.

제안 방법

• 최신 VGG-Net 등의 사전 학습된 CNN을 사용하여 마지막 컨volution 레이어에서 깊이 특징 활성화를 추출함으로써 임의의 입력 크기의 전체 컨volution 처리를 가능하게 한다.
• $π_{2}$ 행렬 정규화를 깊이 특징 맵에 적용하여, 벡터 정규화나 비정규화된 특징보다 우수한 성능을 달성한다.
• 최적의 공간 구조를 유지하기 위해 풀링 없이 $N$ 단계에서 $m$ 개의 블록으로 특징 맵을 분할하여 자연스러운 스페이셜 피라미드를 구성한다.
• 작은 수의 가우시안 성분($K$)을 가진 개선된 피셔 벡터(FV)를 사용해 각 공간 블록을 표현함으로써 계산 비용을 감소시킨다.
• 모든 블록 수준의 FV를 연결하여 최종 이미지 표현으로서 $2mdK$ 차원의 단일 벡터를 생성한다.
• 다양한 수용성 영역에서 특징을 집계함으로써 성능을 추가로 향상시키기 위해 다중 척도 입력 처리(Ms-DSP)를 활용한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 네트워크 특징의 분류 성능을 높이기 위해 $π_{2}$ 벡터, $π_{2}$ 행렬, 또는 비정규화된 방법 중 어떤 정규화 전략이 가장 우수한가?
• RQ2 스페이셜 피라미드의 설계가 특징 표현에 어떤 영향을 미치며, 딥 러닝 환경에서 최적의 구현 방법은 무엇인가?
• RQ3 딥 특징에 대한 피셔 벡터 인코딩에서 $K$의 최적 값은 무엇이며, 작은 $K$가 더 큰 값보다 뛰어난 성능을 내는가?
• RQ4 다중 척도 입력과 완전 컨volution 처리 방식은 인식 정확도와 효율성에 어떤 영향을 미치는가?
• RQ5 이러한 선택들을 통합한 단순하고 효율적인 프레임워크가 표준 벤치마크에서 최신 기준(SOTA) 방법을 뛰어넘을 수 있는가?

주요 결과

• DSP는 SUN397에서 상위 1 정확도 59.78%를 달성하여 이전 최신 기준인 53.86%를 크게 상회한다.
• Caltech-101에서는 95.11%의 정확도를 기록하여 이전 SOTA인 93.42%를 초월한다.
• $π_{2}$ 행렬 정규화의 사용은 $π_{2}$ 벡터 정규화나 정규화 없이 사용하는 것보다 더 뛰어난 성능을 보인다.
• 피셔 벡터 인코딩에서 매우 작은 $K$(예: $K=16$) 값이 더 큰 $K$ 값보다 높은 정확도를 내는 것으로 나타나, 일반적인 관행과는 반대이다.
• 다중 척도 DSP(Ms-DSP)는 모든 데이터셋에서 가장 높은 성능을 기록했으며, Caltech-101에서는 평균 리콜 96.88%, Caltech-256에서는 90.89%를 기록했다.
• DSP는 이미지당 약 150ms 내외로 처리되며, 단지 약 12,000차원의 특징 벡터를 사용하여 메모리 효율적이며 대규모 응용에 적합하다.