[논문 리뷰] Optimizing Over Radial Kernels on Compact Manifolds

Sadeep Jayasumana, Richard Hartley외 3명|arXiv (Cornell University)|2014. 12. 13.

Morphological variations and asymmetry참고 문헌 13인용 수 6

한 줄 요약

이 논문은 지정된 보조 공간에서의 정의된 양의 정부호 반경 커널 전반에 걸쳐 최적화할 수 있는 원칙적인 방법을 제안한다. 이는 특히 n-구면, 그라스만 만델라, 켄달의 형태 만델라와 같은 컴팩트 리만 만델라에서 이루어진다. 반경 커널을 단순한 매개변수 형태로 표현함으로써, 이 방법은 최적의 커널 매개변수를 자동으로 학습하며, 고정 커널(예: 가우시안 RBF)보다는 객체, 얼굴, 동작, 형태 인식 작업에서 크게 뛰어난 성능을 발휘한다.

ABSTRACT

We tackle the problem of optimizing over all possible positive definite radial kernels on Riemannian manifolds for classification. Kernel methods on Riemannian manifolds have recently become increasingly popular in computer vision. However, the number of known positive definite kernels on manifolds remain very limited. Furthermore, most kernels typically depend on at least one parameter that needs to be tuned for the problem at hand. A poor choice of kernel, or of parameter value, may yield significant performance drop-off. Here, we show that positive definite radial kernels on the unit n-sphere, the Grassmann manifold and Kendall's shape manifold can be expressed in a simple form whose parameters can be automatically optimized within a support vector machine framework. We demonstrate the benefits of our kernel learning algorithm on object, face, action and shape recognition.

연구 동기 및 목표

• 컴퓨터 비전에서 리만 만델라 데이터에 대해 다양한 원칙적인 정의된 양의 정부호 커널 옵션의 부족을 해결한다.
• 수동으로 대역폭 조정이 필요한 고정 커널(예: 가우시안 RBF)의 한계를 극복한다.
• 사전 정의된 기본 커널에 의존하지 않고도 컴팩트 만델라에서 최적의 반경 커널 매개변수를 자동으로 학습할 수 있는 통합 프레임워크를 개발한다.
• 비유클리드 데이터에 대한 다양한 비전 작업에서 분류 성능을 향상시키기 위해 원칙적인 커널 선택을 가능하게 한다.
• 커널 형식 자체를 학습하는 것이 수동으로 선택된 고정 커널보다 더 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• n-구면, 그라스만 만델라, 켄달의 형태 만델라에서 정의된 양의 정부호 반경 커널을 통합된 매개변수 형태로 특성화한다.
• 커널 함수를 만델라의 지오데식 거리의 함수로 표현함으로써 커널 가족의 매개변수화를 가능하게 한다.
• 엔드 투 엔드 최적화를 위해 매개변수 커널을 지지 벡터 머신(SVM) 프레임워크에 통합한다.
• 기울기 기반 또는 순차 최적화 전략을 사용하여 커널 매개변수를 SVM 분류기와 함께 동시에 최적화한다.
• 컴팩트 만델라의 구조를 활용하여 매개변수 공간 전역에서 커널이 여전히 양의 정부호임을 보장한다.
• 교차 검증과 무작위 분할을 사용하여 다양한 데이터셋에서 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 컴팩트 리만 만델라에서 반경 커널을 학습 프레임워크 내에서 자동 최적화가 가능한 방식으로 매개변수화할 수 있는가?
• RQ2 고정 매개변수(예: 대역폭)를 넘어서 커널 형식 자체를 학습하는 것이 고정 커널(예: 가우시안 RBF)을 사용할 때보다 더 뛰어난 분류 성능을 낼 수 있는가?
• RQ3 제안된 커널 학습 방법은 만델라 값 데이터에서 기존의 GDA, GGDA, MKL와 비교해 어떻게 성능을 냈는가?
• RQ4 이 방법은 형태, 얼굴, 동작과 같은 비유클리드 데이터를 포함한 다양한 컴퓨터 비전 작업에 일반화 가능한가?
• RQ5 사전 히ュ리스틱이나 사전 정의된 기본 커널 세트에 의존하지 않고 최적의 반경 커널을 원칙적으로 학습할 수 있는 방법이 있는가?

주요 결과

• YT-Celebrity 얼굴 인식 데이터셋에서 제안된 방법은 72.00%의 정확도를 달성하여, 다음으로 뛰어난 방법인 가우시안 커널을 사용한 MKL의 71.40%를 초월했다.
• Ballet 동작 인식 데이터셋에서 방법은 78.05%의 정확도를 기록하여, 이전 최고 성능인 가우시안 커널을 사용한 MKL의 76.97%를 뛰어넘었다.
• Leeds Butterflies 데이터셋에서 나비 종별 인식 작업에서 방법은 63.98%의 정확도를 기록했으며, 최신 기술인 Procrustes 가우시안 커널의 60.37%를 크게 상회했다.
• Oxford-IIT Pet 데이터셋에서 형태만을 사용한 고양이 대 개 분류 작업에서 방법은 80.87%의 정확도를 달성했으며, Procrustes 가우시안 커널의 77.34%를 뛰어넘었다.
• 모든 평가된 데이터셋과 작업에서 GDA, GGDA, 고정 커널을 사용한 SVM, MKL 등 모든 베이스라인 커널 방법보다 방법이 일관되게 뛰어난 성능을 보였다.
• 결과는 커널 형식 자체를 학습하는 것이 성능 향상에 상당한 기여를 한다는 것을 입증하며, 만델라에서 원칙적인 커널 최적화의 중요성을 확인한다.