[논문 리뷰] Cross-convolutional-layer Pooling for Image Recognition

Lingqiao Liu, Chunhua Shen외 1명|arXiv (Cornell University)|2015. 10. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 두 개의 연속된 합성곱층에서의 활성화를 활용하여 이미지 표현을 추출하는 새로운 방법인 크로스-합성곱층 풀링(CCLP)을 제안한다: 하나는 국소적 특징 추출을 위해 사용되고, 다른 하나는 풀링 가이던스 신호로 사용된다. 이 방법은 일반화된 부분 기반 풀링 메커니즘의 일부로 특징 맵을 활용하여 국소적 특징을 동적으로 가중함으로써 이미지 분류 및 검색 작업에서 성능을 향상시키며, 표준 풀링 및 기존의 DCNN 기반 기술들을 초월한다. 다양한 벤치마크에서 성능이 뛰어나다.

ABSTRACT

Recent studies have shown that a Deep Convolutional Neural Network (DCNN) pretrained on a large image dataset can be used as a universal image descriptor, and that doing so leads to impressive performance for a variety of image classification tasks. Most of these studies adopt activations from a single DCNN layer, usually the fully-connected layer, as the image representation. In this paper, we proposed a novel way to extract image representations from two consecutive convolutional layers: one layer is utilized for local feature extraction and the other serves as guidance to pool the extracted features. By taking different viewpoints of convolutional layers, we further develop two schemes to realize this idea. The first one directly uses convolutional layers from a DCNN. The second one applies the pretrained CNN on densely sampled image regions and treats the fully-connected activations of each image region as convolutional feature activations. We then train another convolutional layer on top of that as the pooling-guidance convolutional layer. By applying our method to three popular visual classification tasks, we find our first scheme tends to perform better on the applications which need strong discrimination on subtle object patterns within small regions while the latter excels in the cases that require discrimination on category-level patterns. Overall, the proposed method achieves superior performance over existing ways of extracting image representations from a DCNN.

연구 동기 및 목표

• 사전 학습된 DCNN에서 이미지 표현을 위해 단일 레이어(예: 완전 연결 레이어)만을 사용하는 데서 비롯하는 한계를 해결하기 위해.
• 연속된 합성곱 레이어 간의 공간적 및 계층적 패턴을 활용하여 특징의 분류 능력을 향상시키기 위해.
• 특징 이진화와 적응형 채널 선택을 통한 크로스-레이어 풀링을 활용하여 계산 비용이 효율적인 이미지 검색 방법을 개발하기 위해.
• 특징 부호 양자화를 통해 메모리 및 계산 비용을 줄이되, 분류 능력을 손상시키지 않기 위해.
• 표준 벤치마크에서 CCLP가 표준 풀링 및 기존의 DCNN 기반 기술들보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 이 방법은 이전 합성곱 레이어에서 국소적 특징을 추출하고, 그 다음 합성곱 레이어의 특징 맵을 풀링 가이던스 신호로 사용한다.
• 가이드 레이어의 각 필터의 특징 맵은 국소적 특징을 공간적 활성도에 따라 가중치를 할당하는 부분 검출기 역할을 한다.
• 최종 이미지 표현은 가이드 레이어의 모든 필터(채널)에 대해 풀링된 특징을 연결함으로써 형성된다.
• 두 가지 변형이 제안되며, 하나는 원본 합성곱 레이어를 사용하고, 다른 하나는 영역별 완전 연결 활성도를 보완된 합성곱 레이어로 간주한다.
• 이미지 검색을 위해 특징 이진화를 적용하고, 평균 활성도 기반으로 상위-k 풀링 채널을 선택하여 계산 비용을 줄인다.
• 표현을 압축하면서도 분류 능력을 유지하기 위해 굵은 특징 부호 양자화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 두 개의 연속된 합성곱 레이어에서의 활성화를 조합하는 것이 단일 레이어 기반 기술보다 이미지 표현 학습에 더 나은 성능을 내는가?
• RQ2 후행 레이어의 특징 맵을 동적 풀링 가이던스로 사용할 경우, 미세한 차이와 카테고리 수준의 인식에서 특징의 분류 능력이 향상되는가?
• RQ3 표준 풀링 방법(예: max-pooling, sum-pooling, 공간 피라미드 풀링)과 비교해 크로스-레이어 풀링은 어떤가?
• RQ4 이진화와 적응형 채널 선택을 통해 이미지 검색에서 계산 비용을 줄일 수 있는가, 성능 저하 없이?
• RQ5 특징 부호 양자화가 압축된 표현에서 성능을 얼마나 잘 유지하는가?

주요 결과

• 크로스-레이어 풀링은 MIT67, Birds200, PASCAL07에서 각각 74.4%, 77.0%, 84.1%의 정확도를 기록하여 테스트된 모든 대안적 풀링 방법을 능가했다.
• 이미지 검색에서 k=50 풀링 채널과 이진화된 특징을 사용한 방법은 [5]의 베이스라인 방법보다 뚜렷이 뛰어났으며, 특히 특징이 압축된 경우에 두드러졌다.
• 너무 많은 저활성도 풀링 채널을 포함시킬 경우 성능이 떨어졌으며, 이는 약한 검출기에서 유도된 노이즈를 시사한다.
• 특징 부호 양자화가 대부분의 분류 능력을 유지했으며, 정확도 저하가 미미했다(예: MIT-67에서 77.9% 대비 78.2%).
• 영역별 완전 연결 활성도를 보완된 합성곱 레이어로 간주하는 방법은 카테고리 수준의 인식 작업에서 뛰어난 성능을 보였다.
• 적응형 채널 선택과 이진화를 통합한 제안된 검색 기반은 합리적인 계산 비용으로 높은 성능을 달성했다.