[논문 리뷰] Multiple Riemannian Manifold-valued Descriptors based Image Set Classification with Multi-Kernel Metric Learning

Rui Wang, Xiao‐Jun Wu외 1명|View|2019. 08. 06.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 리만 다양체 상에서 공분산 행렬, 선형 부분공간, 그리고 가우시안 분포를 함께 모델링하여 다중 기하학적 이미지 세트 분류 방법을 제안한다. 이 방법은 이질적인 특징들을 힐버트 공간으로 매핑하는 데 리만 커널을 활용하고, 다중 커널 거리 학습 프레임워크를 통해 이를 저차원의 분류 가능 부분공간에 통합함으로써 네 가지 비디오 기반 분류 작업에서 최신 기술 수준의 성능을 달성하며, 다중 다양체 기반 기술자의 상호보완적 가치를 입증한다.

ABSTRACT

The importance of wild video based image set recognition is becoming monotonically increasing. However, the contents of these collected videos are often complicated, and how to efficiently perform set modeling and feature extraction is a big challenge for set-based classification algorithms. In recent years, some proposed image set classification methods have made a considerable advance by modeling the original image set with covariance matrix, linear subspace, or Gaussian distribution. As a matter of fact, most of them just adopt a single geometric model to describe each given image set, which may lose some other useful information for classification. To tackle this problem, we propose a novel algorithm to model each image set from a multi-geometric perspective. Specifically, the covariance matrix, linear subspace, and Gaussian distribution are applied for set representation simultaneously. In order to fuse these multiple heterogeneous Riemannian manifoldvalued features, the well-equipped Riemannian kernel functions are first utilized to map them into high dimensional Hilbert spaces. Then, a multi-kernel metric learning framework is devised to embed the learned hybrid kernels into a lower dimensional common subspace for classification. We conduct experiments on four widely used datasets corresponding to four different classification tasks: video-based face recognition, set-based object categorization, video-based emotion recognition, and dynamic scene classification, to evaluate the classification performance of the proposed algorithm. Extensive experimental results justify its superiority over the state-of-the-art.

연구 동기 및 목표

• 이미지 세트 분류에서 단일 기하학적 모델링의 한계를 해결함으로써 다양한 다양체 구조에서 유래하는 상호보완적 정보를 간과하지 않도록 하기 위해.
• 공분산 행렬, 부분공간, 가우시안 분포에서 유도된 다수의 리만 다양체 값 기반 특징을 융합하여 영상 기반 인식의 강건성과 분류 능력을 향상시키기 위해.
• 다양한 리만 기반 특징을 커널 매핑과 거리 학습을 통해 효과적으로 통합하는 통합 프레임워크를 개발하여 분류 성능을 향상시키기 위해.
• 다양한 비디오 기반 분류 벤치마크에서 다중 기하학적 표현 방식이 단일 기하학적 접근 방식보다 뛰어난 성능을 보임을 검증하기 위해.

제안 방법

• 각 이미지 세트를 대칭 양의 정합 행렬(SPD) 행렬(공분산), 그라스만다양체 부분공간(선형 부분공간), 그리고 가우시안 분포(가우시안 임bedded 다양체)로 구성된 세 가지 서로 다른 리만 다양체 기반 기술자로 모델링한다.
• 기존에 잘 알려진 리만 커널 함수를 적용하여 이질적인 다양체 기반 특징을 고차원 힐버트 공간으로 매핑함으로써 내재된 기하학적 구조를 유지한다.
• 다양한 리만 커널을 조합하여 공유된 저차원 유클리드 부분공간을 학습하는 다중 커널 거리 학습 프레임워크를 설계하여 효과적인 분류를 가능하게 한다.
• 반복 최적화 전략을 사용하여 변환 행렬, 커널 가중치, 정규화 파라미터를 동시에 학습하고, AFEW 및 YTC 데이터셋에서 수렴성을 경험적으로 검증한다.
• 부하 비율 최적화를 통해 부분공간 학습을 수행하고, 기울기 상승법을 통해 커널 가중치 업데이트를 수행함으로써 목적 함수의 안정적 수렴을 보장한다.
• 다양한 분석을 통해 최종 특징 차원 수 $d_w$를 설정하며, 최적의 값을 식별함(예: MDSD에서는 25, YTC에서는 70)으로서 분류 능력과 중복성 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 SPD, 그라스만, 가우시안과 같은 다수의 리만 다양체 기반 기술자를 융합할 경우, 단일 기하학적 기술자 사용 대비 이미지 세트 분류 성능 향상이 이루어지는가?
• RQ2 이질적인 다양체 기반 특징을 공통의 힐버트 공간으로 매핑하기 위해 리만 커널이 얼마나 효과적으로 작용하는가?
• RQ3 공유 부분공간 내에서 다중 커널 거리 학습이 단일 커널 또는 유클리드 기반 방법보다 더 나은 일반화 능력과 분류 능력을 제공하는가?
• RQ4 최종 표현에서 특징의 풍부함과 중복성 사이의 균형을 맞추기 위해 통합된 부분공간의 최적 차원 수 $d_w$는 얼마인가?
• RQ5 다양한 비디오 기반 분류 작업에서 제안된 방법이 최신 기술 수준의 접근 방식보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 네 가지 벤치마크 데이터셋(AFEW(비디오 기반 얼굴 인식), YTC(세트 기반 객체 분류), MDSD(비디오 기반 감정 인식), ETH-80(동적 장면 분류))에서 최신 기술 수준의 성능을 달성한다.
• SPD, 그라스만, 가우시안 기술자의 융합은 단일 기술자보다 분류 정확도를 크게 향상시키며, 이는 이들의 상호보완적 성질을 확인한다.
• MDSD 데이터셋에서 최적의 $d_w = 25$가 가장 높은 인식률을 기록하지만, 높은 차원(예: 91)으로 증가하면 성능이 5.13%로 감소함을 확인하여 고차원에서의 중복성 문제를 입증한다.
• YTC 데이터셋에서는 $d_w = 70$에서 최고의 성능를 기록하며, 이를 141로 늘리면 성능이 72.22%로 감소함으로써 차원 수와 분류 품질 사이의 상충 관계를 추가로 확인한다.
• 목적 함수는 다수의 반복 후 안정적으로 수렴하며, 40회 반복 후 AFEW에서는 0.8398, YTC에서는 0.9207로 수렴값이 안정화되어 강력한 최적화 행동을 보임을 확인한다.
• 경험적 결과는 다중 커널 거리 학습 프레임워크가 이질적인 리만 기반 특징을 효과적으로 통합하며, 기존의 유클리드 기반 및 단일 기하학적 접근 방식을 능가함을 확인한다.