[논문 리뷰] Generalization Bounds for Metric and Similarity Learning

Qiong Cao, Zheng-Chu Guo외 1명|arXiv (Cornell University)|2012. 07. 23.

Face and Expression Recognition참고 문헌 21인용 수 20

한 줄 요약

이 논문은 특정 행렬 노름에 관련된 'i.i.d. 샘플 블록의 합'에 대한 라데마처 복잡도 추정으로 분석을 환원하여, 거리 및 유사도 학습에 대한 새로운 일반화 경계를 수립한다. $L^1$-노름 정규화가 프로베니우스 노름보다 훨씬 더 날카운 경계를 제공함을 보여주며, 특히 고차원 설정에서 두드러진다. 이는 희박한 거리 학습 이론적 이해를 발전시킨다.

ABSTRACT

Recently, metric learning and similarity learning have attracted a large amount of interest. Many models and optimisation algorithms have been proposed. However, there is relatively little work on the generalization analysis of such methods. In this paper, we derive novel generalization bounds of metric and similarity learning. In particular, we first show that the generalization analysis reduces to the estimation of the Rademacher average over "sums-of-i.i.d." sample-blocks related to the specific matrix norm. Then, we derive generalization bounds for metric/similarity learning with different matrix-norm regularisers by estimating their specific Rademacher complexities. Our analysis indicates that sparse metric/similarity learning with $L^1$-norm regularisation could lead to significantly better bounds than those with Frobenius-norm regularisation. Our novel generalization analysis develops and refines the techniques of U-statistics and Rademacher complexity analysis.

연구 동기 및 목표

• 광범위하게 사용되고 있음에도 불구하고 거리 및 유사도 학습에서 일반화 분석의 부족을 해결하기 위해.
• 임의의 행렬-노름 정규화자를 사용하는 일반화 경계를 위한 통합 이론적 프레임워크를 개발하기 위해.
• 특히 고차원 설정에서 $L^1$과 프로베니우스 노름 간의 정규화 전략의 효과성을 비교하기 위해.
• 라데마처 복잡도와 U-통계 기법을 거리/유사도 학습 설정으로 확장하기 위해.

제안 방법

• 특정 행렬 노름과 관련된 'i.i.d. 샘플 블록의 합'에 대한 라데마처 평균 추정으로 일반화 분석을 환원한다.
• U-통계 이론을 활용하여 거리 및 유사도 학습에 특화된 새로운 라데마처 복잡도 프레임워크를 도입한다.
• 프로베니우스, $L^1$, 혼합 $(2,1)$, 추적 노름을 포함한 다양한 행렬 노름에 대해 라데마처 복잡도를 추정하여 경계를 유도한다.
• 일반화 오차를 bound하기 위해 고급 집중 불등식과 행렬 스펙트럼 노름 분석을 사용한다.
• 제곱 맥팔레노비스 거리와 이항 유사도 함수의 두 경우에 프레임워크를 적용한다.
• 고유값 한계를 이용하여 공분산 연산자의 특성에 기반한 강한 가정 하에 일致성 결과를 확립한다.

실험 결과

연구 질문

• RQ1 임의의 행렬 정규화를 갖는 거리 및 유사도 학습에 대해 일반화 경계를 공식적으로 유도할 수 있는가?
• RQ2 $L^1$-노름 정규화가 일반화 오차 측면에서 프로베니우스 노름보다 어떤 이점이 있는가?
• RQ3 라데마처 복잡도와 U-통계를 효과적으로 조합하여 거리 학습의 일반화를 분석할 수 있는가?
• RQ4 입력 데이터의 차원이 다양한 정규화자에 따라 일반화 경계의 날카움에 어떤 영향을 미치는가?
• RQ5 큰 표본 수의 극한에서 학습된 거리 또는 유사도 행렬의 일치성을 보장하는 조건은 무엇인가?

주요 결과

• 희박한 거리 및 유사도 학습에서 $L^1$-노름 정규화는 고차원 설정에서 프로베니우스 노름 정규화보다 훨씬 더 날카운 일반화 경계를 달성한다.
• $L^1$-정규화 학습의 일반화 오차 경계는 $O(\sqrt{\log d / n})$ 스케일을 가지며, 이는 프로베니우스 정규화의 $O(\sqrt{d / n})$ 경계보다 뛰어나다.
• 제안된 라데마처 복잡도 프레임워크는 혼합 $(2,1)$-노름과 추적-노름을 포함한 일반 행렬 노름을 효과적으로 처리하여 더 넓은 적용 가능성을 제공한다.
• 고정된 바이어스를 가진 최소 제곱 손실의 경우, 학습된 행렬 $M_{\bf z}$의 일치성이 프로베니우스 노름 기준 수렴 속도 $O(n^{-1/4})$로 확립된다.
• 분석 결과 $L^1$-정규화가 학습된 거리에서 희박성을 촉진하며, 이는 고차원 데이터에서 개선된 일반화와 일치한다.
• 이론적 결과는 U-통계의 새로운 응용과 고급 집중 불등식에 의해 뒷받침되며, 기존 도구를 거리 학습으로 확장한다.