[논문 리뷰] Multi-view Metric Learning in Vector-valued Kernel Spaces

Riikka Huusari, Hachem Kadri외 1명|arXiv (Cornell University)|2018. 03. 21.

Face and Expression Recognition참고 문헌 4인용 수 5

한 줄 요약

이 논문은 다중 시야 데이터 간의 관계를 포괄적으로 포착하기 위해 벡터 값 커널 공간과 블록 구조 메트릭을 동시에 학습하는 새로운 다중 시야 거리 측정 학습 프레임워크를 제안한다. 볼록 최적화 문제를 정식화하고 블록 단위의 니스트롬 근사법을 적용하여, 대규모 데이터셋에서도 효율적으로 확장 가능하면서도 실제 다중 시야 분류 및 회귀 과제에서 최신 기술 수준의 성능을 달성한다. 희소 솔루션은 시야의 중요도를 드러낸다.

ABSTRACT

We consider the problem of metric learning for multi-view data and present a novel method for learning within-view as well as between-view metrics in vector-valued kernel spaces, as a way to capture multi-modal structure of the data. We formulate two convex optimization problems to jointly learn the metric and the classifier or regressor in kernel feature spaces. An iterative three-step multi-view metric learning algorithm is derived from the optimization problems. In order to scale the computation to large training sets, a block-wise Nystr{ö}m approximation of the multi-view kernel matrix is introduced. We justify our approach theoretically and experimentally, and show its performance on real-world datasets against relevant state-of-the-art methods.

연구 동기 및 목표

• 다중 시야 데이터에 대한 효과적인 거리 측정을 학습하여 내부 시야 및 시야 간의 종속성을 모두 포착하는 데 도전한다.
• 대규모 환경에서 행렬 값 커널 방법의 높은 계산 비용을 극복한다.
• 벡터 값 재생 핵 힐버트 공간(RKHS)에서 분류기/회귀기와 구조화된 메트릭을 동시에 학습한다.
• 블록 단위의 니스트롬 근사법을 활용해 효율적인 커널 계산을 위한 확장 가능한 알고리즘을 개발한다.
• 라데마처 유계를 통한 이론적 근거와 실제 데이터셋에서의 경험적 검증을 제공한다.

제안 방법

• RKHS에서 벡터 값 함수와 블록 구조 메트릭을 동시에 학습하기 위한 두 개의 볼록 최적화 문제를 정식화한다.
• 최적화 문제를 해결하기 위해 반복적인 세 단계 알고리즘을 도출하며, 메트릭 업데이트와 함수 업데이트를 번갈아가며 수행한다.
• 큰 다중 시야 커널 행렬을 구성하고 역행렬을 구하는 데 소요되는 계산 비용을 줄이기 위해 블록 단위의 니스트롬 근사법을 도입한다.
• 내부 시야 및 시야 간 유사성을 모두 캐릭터라이징하는 매트릭스 값 커널을 활용하여 다중 모달 데이터의 탄력적인 모델링을 가능하게 한다.
• 훈련 데이터 포인트에서 평가된 커널 함수의 선형 조합으로 해를 표현하기 위해 리프레젠터 정리를 적용한다.
• 다중 클래스 문제에 대해서는 one-vs-all 분류법을, 정규화 파라미터 튜닝에 대해서는 교차 검증을 사용한다.

실험 결과

연구 질문

• RQ1 벡터 값 커널 공간에서 다중 시야 메트릭과 결정 함수를 통합된 프레임워크로 동시에 학습할 수 있는가?
• RQ2 매트릭스 값 커널 방법의 높은 계산 비용은 성능을 희생시키지 않고 어떻게 줄일 수 있는가?
• RQ3 니스트롬 근사법은 다중 시야 거리 측정 학습의 일반화 능력과 효율성에 어떤 영향을 미치는가?
• RQ4 학습된 메트릭 행렬은 의미 있는 시야 간 상호작용과 상대적 중요도를 드러낼 수 있는가?
• RQ5 제안된 방법에 대해 일반화 유계와 같은 이론적 보장은 무엇을 확보할 수 있는가?

주요 결과

• 로봇 조작 데이터셋에서 2000개의 훈련 샘플과 8% 니스트롬 근사법을 사용할 때 MVMLsparse 방법은 0.3915의 가장 낮은 오차율을 기록했다.
• Flower17 데이터셋에서 MVML 방법은 모든 근사 수준에서 SVM, OKL, MLKR를 모두 초월했으며, 12% 니스트롬 근사법에서 최고의 정확도를 달성했다.
• 블록 단위의 니스트롬 근사법은 낮은 근사 수준에서도 성능을 유지하면서 계산 비용을 크게 감소시켰다.
• MVMLsparse에서 학습된 메트릭 행렬은 높은 희소성을 보였으며, 이는 방법이 중요한 시야와 그 상호작용을 식별할 수 있음을 시사한다.
• 라데마처 유계를 통한 일반화 분석은 제안된 알고리즘의 이론적 타당성을 뒷받침한다.
• 방법은 근사 수준에 대해 강건했으며, 특히 낮은 샘플링 비율(예: 전체 데이터의 1–10%)에서도 성능 향상이 관찰되었다.