[논문 리뷰] DeepKSPD: Learning Kernel-matrix-based SPD Representation for Fine-grained Image Recognition

Melih Engin, Lei Wang외 2명|arXiv (Cornell University)|2017. 11. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 10인용 수 9

한 줄 요약

이 논문은 세분화된 이미지 인식을 위한 딥 끝에서 끝까지 프레임워크인 DeepKSPD를 제안한다. 이는 딥 로컬 기술자, 커널 행렬 기반 대칭 양의 정부호(SPD) 표현, 분류기를 동시에 학습한다. 커널 행렬을 통한 역전파와 Riemann 기하학을 위한 Daleckiñ-Kreın 공식을 활용함으로써 최적의 SPD 표현 학습이 가능해지며, 기준 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Being symmetric positive-definite (SPD), covariance matrix has traditionally been used to represent a set of local descriptors in visual recognition. Recent study shows that kernel matrix can give considerably better representation by modelling the nonlinearity in the local descriptor set. Nevertheless, neither the descriptors nor the kernel matrix is deeply learned. Worse, they are considered separately, hindering the pursuit of an optimal SPD representation. This work proposes a deep network that jointly learns local descriptors, kernel-matrix-based SPD representation, and the classifier via an end-to-end training process. We derive the derivatives for the mapping from a local descriptor set to the SPD representation to carry out backpropagation. Also, we exploit the Daleckii-Krein formula in operator theory to give a concise and unified result on differentiating SPD matrix functions, including the matrix logarithm to handle the Riemannian geometry of kernel matrix. Experiments not only show the superiority of kernel-matrix-based SPD representation with deep local descriptors, but also verify the advantage of the proposed deep network in pursuing better SPD representations for fine-grained image recognition tasks.

연구 동기 및 목표

• 기존 SPD 표현이 로컬 기술자와 커널 행렬을 별개로 간주하고 최적화하지 않는 한계를 해결하기 위해.
• 수작업 특징 대신 딥 로컬 기술자와 결합된 커널 행렬 기반 SPD 표현의 잠재력을 탐색하기 위해.
• 로컬 기술자, 커널 행렬 기반 SPD 표현, 분류기를 동시에 최적화하는 끝에서 끝까지 학습 가능한 딥 네트워크를 개발하기 위해.
• 로컬 기술자에서 커널 행렬 기반 SPD 표현으로의 매핑에 대한 폐쇄형 역전파 규칙를 유도하기 위해, 특히 Riemann 기하학을 위한 행렬 로그를 포함하여.
• 효율적이고 안정적인 훈련을 위해 SPD 행렬 함수의 미분을 통합하기 위해 Daleckiñ-Kreın 공식을 사용하여 통합하는 것.

제안 방법

• 딥 로컬 기술자, 커널 행렬 기반 SPD 표현, 분류기를 끝에서 끝까지 통합적으로 학습하는 딥 신경망인 DeepKSPD를 제안한다.
• 사전 정의된 커널 함수를 사용하여 딥 로컬 기술자에서 커널 행렬을 계산함으로써 비선형 상관관계를 포괄하는 SPD 행렬을 형성한다.
• 행렬 미적분학과 연쇄법칙을 활용하여 커널 행렬 매핑을 통한 역전파를 위한 분석적 기울기를 도출한다.
• Daleckiñ-Kreın 공식을 적용하여 SPD 행렬 함수의 도함수에 대한 통합적이고 간결한 표현을 유도하며, 행렬 로그를 포함한다.
• 행렬 로그를 통합하여 커널 행렬을 Riemann 기하학에서 유클리드 공간으로 매핑함으로써, 표준 손실 함수를 사용한 효과적인 분류가 가능해진다.
• 유도된 기울기를 사용하여 표준 역전파를 적용하여 전체 네트워크를 끝에서 끝까지 훈련시키며, 분류 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 딥 로컬 기술자에 기반한 커널 행렬 기반 SPD 표현이 기존 수작업 특징(예: SIFT 또는 Gabor 반응)을 사용하는 표현보다 세분화된 이미지 인식에서 더 우수한 성능을 보일 수 있는가?
• RQ2 로컬 기술자, 커널 행렬, 분류기를 동시에 최적화하는 끝에서 끝까지의 학습이 별도 최적화보다 더 나은 SPD 표현을 도출하는가?
• RQ3 제안된 역전파 프레임워크가 행렬 로그와 같은 복잡한 SPD 행렬 함수를 안정적이고 미분 가능한 방식으로 처리할 수 있는가?
• RQ4 Daleckiñ-Kreın 정리에 기반한 통합 도함수 공식이 딥 러닝에서 다양한 SPD 행렬 함수의 미분에 효과적으로 적용되는가?
• RQ5 커널 행렬 기반 SPD 표현 통합이 최신 기술 수준의 방법에 비해 세분화된 인식 벤치마크에서 분류 정확도를 향상시키는가?

주요 결과

• 딥 로컬 기술자에 기반한 커널 행렬 기반 SPD 표현은 기존의 SIFT나 Gabor 반응과 같은 전통적 기술자로 구성된 동일한 표현보다 뚜렷이 뛰어난 성능을 보였다.
• CUB-200-2011 및 Stanford Cars를 포함한 여러 세분화된 이미지 인식 벤치마크에서 DeepKSPD는 비교된 모든 방법 중 가장 높은 분류 정확도를 달성했다.
• 학습된 특징 맵의 시각화 결과에서 분류에 기여하는 객체 부분(예: 자동차 몸체)에 강한 활성화가 나타나고, 관련 없는 배경 영역의 반응은 감소하는 경향을 보였다.
• 제안된 역전파 프레임워크는 커널 행렬 기반 SPD 표현의 비선형성과 행렬 구조를 효과적으로 처리하여 안정적인 끝에서 끝까지의 훈련을 가능하게 했다.
• Daleckiñ-Kreın 공식의 활용은 다양한 SPD 행렬 함수(행렬 로그 포함)에 대한 기울기 유도를 통합적이고 효율적으로 가능하게 했다.
• 실증 결과는 딥 기술자와 SPD 표현을 동시에 학습하는 것이 사전 훈련된 기술자에 기반한 커널 행렬 기반 SPD 표현을 적용하는 것보다 뛰어난 성능을 내는 것으로 확인되었다.