[논문 리뷰] Kernel Methods on the Riemannian Manifold of Symmetric Positive Definite Matrices

Sadeep Jayasumana, Richard Hartley외 3명|arXiv (Cornell University)|2014. 12. 12.

Medical Image Segmentation Techniques인용 수 4

한 줄 요약

이 논문은 대칭 양의 정부호(SPD) 행렬을 위한 증명 가능하게 양의 정부호인 커널의 가족을 제안하며, 리만 기하학을 활용하여 SPD 다양체 상의 다양한 거리 척도에서 유도된 지오데식 거리를 사용한다. 이러한 커널을 통해 SPD 행렬을 재생 핵 힐버트 공간(RKHS)에 통합함으로써, 유클리드 커널 방법(예: SVM 및 커널 주성분 분석)을 다양체 상에서 직접 적용할 수 있게 되었으며, 보행자 검출, 물체 분류, 무늬 분석, 의료 영상 분할 작업에서 탄성 공간 근사법과 표준 유클리드 커널보다 뛰어난 성능을 달성하였다.

ABSTRACT

Symmetric Positive Definite (SPD) matrices have become popular to encode image information. Accounting for the geometry of the Riemannian manifold of SPD matrices has proven key to the success of many algorithms. However, most existing methods only approximate the true shape of the manifold locally by its tangent plane. In this paper, inspired by kernel methods, we propose to map SPD matrices to a high dimensional Hilbert space where Euclidean geometry applies. To encode the geometry of the manifold in the mapping, we introduce a family of provably positive definite kernels on the Riemannian manifold of SPD matrices. These kernels are derived from the Gaussian ker- nel, but exploit different metrics on the manifold. This lets us extend kernel-based algorithms developed for Euclidean spaces, such as SVM and kernel PCA, to the Riemannian manifold of SPD matrices. We demonstrate the benefits of our approach on the problems of pedestrian detection, ob- ject categorization, texture analysis, 2D motion segmentation and Diffusion Tensor Imaging (DTI) segmentation.

연구 동기 및 목표

• 기존의 다양체 기반 알고리즘에서 국소 탄성 공간 근사에 의존하는 한계를 해결하기 위해, 진정한 리만 기하학을 왜곡하고 고비용 계산을 유발하는 방법을 개선하고자 한다.
• 비유클리드 다양체, 특히 SPD 행렬의 리만 다양체 상에서 양의 정부호 커널을 구성하기 위한 이론적으로 탄탄한 프레임워크를 개발하고자 한다.
• SPD 행렬 데이터에 대해 강력한 커널 기반 알고리즘(SVM, 커널 주성분 분석, 커널 k-평균 등)을 사용할 수 있도록, 기하학에 민감한 커널을 통해 고차원 힐베르트 공간에 통합함으로써 가능하게 하고자 한다.
• 기하학에 민감한 커널이 유클리드 커널과 탄성 공간 기반 방법보다 여러 비전 작업에서 더 뛰어난 성능을 보이는지 확인하고자 한다.

제안 방법

• 표준 가우시안 커널의 유클리드 거리 대신 유효한 리만 거리 척도에서 유도된 지오데식 거리를 사용하여, SPD 다양체 상에서 양의 정부호 가우시안 커널의 가족을 유도한다.
• 거리 함수 기반으로 가우시안 커널의 양의 정부호성을 분석할 수 있는 이론적 프레임워크를 수립하며, 특정 리만 거리 척도가 Sym+d 상에서 유효한 양의 정부호 커널을 유도함을 증명한다.
• 행렬 로그와 지수를 통한 효율적인 계산이 가능하고 진정한 지오데식 거리를 제공하는 로그-유클리드 거리 척도를 핵심 예시로 활용한다.
• 제안된 커널을 활용하여 표준 커널 알고리즘(SVM, 커널 주성분 분석, 커널 k-평균)을 SPD 다양체의 리만 기하학으로 일반화하며, 데이터의 내재 기하학적 성질을 유지한다.
• 커널 트릭을 적용하여 SPD 행렬을 고차원 RKHS로 암묵적으로 매핑함으로써, 명시적인 계산 없이도 유클리드 알고리즘을 적용할 수 있도록 한다.
• 보행자 검출, 물체 분류, 무늬 인식, DTI 및 운동 분석에서의 영상 분할과 같은 여러 컴퓨터 비전 작업을 통해 프레임워크의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 SPD 다양체 상의 지오데식 거리로 정의된 가우시안 커널이 증명 가능하게 양의 정부호가 될 수 있는가?
• RQ2 SVM 및 커널 주성분 분석과 같은 커널 기반 알고리즘이 SPD 행렬의 리만 다양체로 일반화될 수 있는가?
• RQ3 SPD 다양체 상에서 기하학에 민감한 커널을 사용할 경우, 유클리드 커널과 탄성 공간 기반 방법보다 성능 향상이 이루어지는가?
• RQ4 Sym+d 상에서 어떤 리만 거리 척도가 가우시안 커널 형식에 사용되었을 때 유효한 양의 정부호 커널을 유도하는가?

주요 결과

• 같은 조건에서 l=12일 때, 리만 기반 커널 주성분 분석은 브로다츠 무늬 데이터셋에서 96.40%의 정확도를 달성하였으며, 이는 유클리드 커널의 91.89%보다 뛰어난 성능을 보였다.
• 리만 기반 커널 k-평균은 실제 DTI 뇌 영상에서 대뇌백색질을 성공적으로 분할하였으며, LLE, LE 또는 HLLE를 통한 차원 축소를 사용한 기준 방법보다 더 깔끔한 결과를 도출하였다.
• 함부르거 택시 운동 분할 데이터셋에서 제안된 리만 기반 커널 k-평균은 차원 축소를 먼저 수행한 후 군집화를 수행하는 기준 방법보다 더 정확하고 노이즈가 적은 분할 결과를 도출하였다.
• 제안된 방법은 반복적인 로그 및 지수 매핑을 피함으로써 탄성 공간 기반 접근법보다 계산 비용을 줄였으며, 동시에 전반적인 기하학적 구조를 유지한다.
• 이 프레임워크는 다른 다양체로도 일반화 가능하며, 거리 제곱이 음의 정부호를 유도하는 메트릭이 존재하는 경우에 적용 가능하므로, SPD 행렬 외에도 광범위한 적용 가능성을 지닌다.