[논문 리뷰] Beyond Gauss: Image-Set Matching on the Riemannian Manifold of PDFs

Mehrtash Harandi, Mathieu Salzmann외 1명|arXiv (Cornell University)|2015. 07. 31.

Face and Expression Recognition참고 문헌 20인용 수 12

한 줄 요약

이 논문은 커널 밀도 추정을 통해 이미지셋을 비모수적 확률밀도함수(PDF)로 모델링하고, Riemannian manifold 상의 PDF들 간에 Csiszár f-divergence(특히 Hellinger 및 Jeffrey 분산)를 사용하여 매칭하는 방법을 제안한다. 또한 분류를 위한 정의된 양의 정합성 커널과 클래스 구분 능력을 유지하는 지도 학습 기반 차원 축소 기법을 도입하여, 영상 기반 얼굴 인식 및 동적 텍스처 분류 과제에서 최신 기술들을 능가하는 성능을 보인다.

ABSTRACT

State-of-the-art image-set matching techniques typically implicitly model each image-set with a Gaussian distribution. Here, we propose to go beyond these representations and model image-sets as probability distribution functions (PDFs) using kernel density estimators. To compare and match image-sets, we exploit Csiszar f-divergences, which bear strong connections to the geodesic distance defined on the space of PDFs, i.e., the statistical manifold. Furthermore, we introduce valid positive definite kernels on the statistical manifolds, which let us make use of more powerful classification schemes to match image-sets. Finally, we introduce a supervised dimensionality reduction technique that learns a latent space where f-divergences reflect the class labels of the data. Our experiments on diverse problems, such as video-based face recognition and dynamic texture classification, evidence the benefits of our approach over the state-of-the-art image-set matching methods.

연구 동기 및 목표

• 커널 밀도 추정을 통해 비모수적 확률밀도함수(PDF)로 이미지셋을 표현하여, 기존의 가우시안 모델링의 한계를 극복한다.
• Diffeomorphism에 대해 불변인 Csiszár f-분산을 활용하여 이미지셋 매칭의 강건성을 확보하고, 통계 다양체의 지오데식 거리와 기하학적으로 연결된 특성을 이용한다.
• 강력한 커널 기반 분류를 가능하게 하기 위해 통계다양체 상에서 유효한 양의 정합성 커널을 개발한다.
• f-분산의 클래스 구분 능력을 유지하는 잠재공간을 학습하는 지도 기반 차원 축소 기법을 설계한다.

제안 방법

• 이미지셋을 커널 밀도 추정을 통해 복잡한 비가우시안 분포의 이미지 특징을 포괄하는 PDF로 모델링한다.
• PDF 간 유사도 측정으로 Hellinger 및 Jeffrey f-분산을 사용하며, 이는 diffeomorphism에 대한 불변성과 Fisher-Rao 메트릭과의 기하학적 연관성을 활용한다.
• f-분산 기반 유사도를 이용해 통계다양체 상에서 양의 정합성 커널을 구성함으로써, SVM과 같은 커널 방법의 사용을 가능하게 한다.
• f-분산의 구조를 클래스 레이블과 일치시키는 지도 기반 차원 축소 기법을 그라스만다양체 상에서 제안한다. 이는 매핑 행렬 W를 최적화하여 구현된다.
• 몬테카를로 기대값과 시그모이드 유사 전환 T(W^T x)의 도함수를 사용하여 f-분산의 전이 행렬 W에 대한 닫힌 형태의 기울기를 유도한다.
• Riemannian 최적화를 사용하여 그라스만다양체 상에서 목적 함수를 최적화함으로써, f-분산이 클래스 유사도를 반영하는 저차원 부분공간을 학습한다.

실험 결과

연구 질문

• RQ1 커널 밀도 추정을 통한 비모수적 PDF 표현이 가우시안 가정을 초월하여 이미지셋 매칭 성능을 향상시킬 수 있는가?
• RQ2 Hellinger 및 Jeffrey 분산과 같은 f-분산이 통계다양체 상에서 분포의 차이를 포착하는 데 기존의 메트릭과 비교하여 어떻게 성능을 내는가?
• RQ3 f-분산을 사용하여 PDF의 다양체 상에서 유효한 양의 정합성 커널을 정의할 수 있는가?
• RQ4 f-분산의 구분 능력을 저차원 공간에서 유지하는 지도 기반 차원 축소 기법을 설계할 수 있는가?
• RQ5 제안된 방법이 실제 영상 및 텍스처 인식 과제에서 최신 기술들을 능가하는가?

주요 결과

• 제안된 PDF 기반 이미지셋 매칭 방법은 영상 기반 얼굴 인식 및 동적 텍스처 분류 과제에서 최신 기술인 가우시안 기반 접근법보다 뛰어난 성능을 보였다.
• Hellinger 및 Jeffrey 분산은 diffeomorphism에 대해 강력한 불변성을 보이며, 조명 및 촬영 조건의 변화에 대해 강건함을 입증했다.
• 유도된 f-분산 기울기는 그라스만다양체 상에서의 지도 기반 차원 축소를 효과적으로 최적화하여 클래스 간 분리도를 향상시켰다.
• f-분산 기반의 양의 정합성 커널을 사용함으로써 커널 기반 기계학습을 효과적으로 적용할 수 있었고, 매칭 정확도가 향상되었다.
• 실증 결과는 다양한 벤치마크에서 일관된 성능 향상을 보이며, 비모수적 PDF로 이미지셋을 Riemannian manifold 상에서 모델링하는 것이 효과적임을 입증했다.