[논문 리뷰] Fisher Kernel for Deep Neural Activations

Donggeun Yoo, Sunggyun Park외 2명|arXiv (Cornell University)|2014. 12. 04.

Advanced Neural Network Applications참고 문헌 26인용 수 32

한 줄 요약

이 논문은 스케일별 정규화를 적용한 수정된 파이셔 커널을 사용하여 사전 훈련된 CNN의 깊은 신경망 활성화를 향상시키는 다중 척도 피라미드 풀링(MPP) 프레임워크를 제안한다. 완전 연결층을 등가의 합성곱층으로 대체하여 다수의 밀도 높은 다중 척도 활성화를 추출하고, 정규화된 파이셔 커널을 통해 이를 집계함으로써, MIT Indoor 67에서 +17.76%의 정확도 향상과 PASCAL VOC 2007에서 +7.18 mAP 향상을 달성하여 기준 CNN 특징과 VLAD 기반 표현을 크게 능가한다.

ABSTRACT

Compared to image representation based on low-level local descriptors, deep neural activations of Convolutional Neural Networks (CNNs) are richer in mid-level representation, but poorer in geometric invariance properties. In this paper, we present a straightforward framework for better image representation by combining the two approaches. To take advantages of both representations, we propose an efficient method to extract a fair amount of multi-scale dense local activations from a pre-trained CNN. We then aggregate the activations by Fisher kernel framework, which has been modified with a simple scale-wise normalization essential to make it suitable for CNN activations. Replacing the direct use of a single activation vector with our representation demonstrates significant performance improvements: +17.76 (Acc.) on MIT Indoor 67 and +7.18 (mAP) on PASCAL VOC 2007. The results suggest that our proposal can be used as a primary image representation for better performances in visual recognition tasks.

연구 동기 및 목표

• 시각 인식을 위한 깊은 CNN 활성화의 기하학적 불변성과 분류 능력을 향상시키기 위해.
• 저수준의 국소 기술자(불변성)와 중수준의 CNN 특징( бог rich 표현)의 장점을 융합하기 위해.
• 미세조정 없이 사전 훈련된 CNN에서 다중 척도의 밀도 높은 활성화를 효율적으로 추출하는 방법을 개발하기 위해.
• 바운딩 박스 레이블 없이 클래스 수준의 애너테이션만으로 약한 지도 학습 기반의 객체 신뢰도 맵을 생성하기 위해.
• 스케일별 정규화를 적용한 파이셔 커널이 CNN 특징에 대해 VLAD 및 평균 풀링보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 사전 훈련된 CNN의 첫 번째 및 두 번째 완전 연결층을 등가의 합성곱층으로 대체하여 다수의 밀도 높은 다중 척도 특징 맵을 생성하기 위해.
• 스케일별 정규화를 수행한 후 국소 활성화 패치에 대해 파이셔 커널 인코딩을 수행함으로써 다중 척도 피라미드 풀링(MPP)을 적용하기 위해.
• 다른 수신 영역 크기에서 파이셔 커널 계산의 안정성을 확보하기 위해 스케일별 정규화를 적용하기 위해.
• 선형 SVM를 사용하여 국소 파이셔 인코딩 특징를 집계하여 전역 이미지 표현을 생성하고 분류하기 위해.
• 각 국소 활성화 패치의 SVM 가중치를 추적하여 객체 신뢰도 맵을 생성함으로써 약한 지도 학습 기반 국소화를 가능하게 하기 위해.
• 바운딩 박스 애너테이션 없이 이미지 수준의 레이블만을 사용하여 최종 분류기 학습하기 위해.

실험 결과

연구 질문

• RQ1 스케일별 정규화를 적용한 파이셔 커널 인코딩이 CNN 활성화의 분류 능력을 향상시킬 수 있는가?
• RQ2 밀도 높은 CNN 특징의 다중 척도 풀링이 기하학적 불변성과 정확도에서 평균 풀링 또는 VLAD 인코딩을 능가하는가?
• RQ3 클래스 수준의 레이블만을 사용하여 CNN 특징에서 신뢰도 맵을 신뢰성 있게 생성할 수 있는가?
• RQ4 제안된 방법은 장면 및 객체 인식 벤치마크에서 최신 기술과 비교해 어떻게 성능을 내는가?
• RQ5 스케일별 정규화는 CNN 활성화에 대한 파이셔 커널 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 MPP + 파이셔 커널 방법은 MIT Indoor 67에서 91.28%의 top-1 정확도를 달성하여 기준 Alex-FC7 대비 +17.76% 향상되었다.
• PASCAL VOC 2007에서 CSF 기준으로 89.35% mAP를 기록하였고, MPP를 사용할 경우 91.28%의 정확도를 달성하여 이전 최고 성능 기록을 초월했다.
• PASCAL VOC 2007에서 기준 대비 mAP를 +7.18 향상시켜 강력한 일반화 능력을 입증했다.
• 클래스 수준의 레이블만을 사용하여 학습한 표현에서 생성된 객체 신뢰도 맵은 높은 국소화 정확도를 보였다.
• 스케일별 정규화는 필수적이다: 이와 같은 풀링 메커니즘을 사용하더라도 정규화 없이 사용할 경우 파이셔 커널 성능이 크게 떨어진다.
• 평균 풀링 및 VLAD 기반 집계 방식보다 성능이 뛰어나, 다중 척도 CNN 특징에 대해 정규화된 파이셔 커널이 우월함을 시사한다.