[논문 리뷰] Learning Low-Dimensional Metrics

Lalit Jain, Blake Mason외 1명|arXiv (Cornell University)|2017. 09. 18.

Face and Expression Recognition참고 문헌 1인용 수 11

한 줄 요약

이 논문은 삼중거리 비교로부터 저차원(저질서) 및 희소 메트릭을 학습하기 위한 최초의 최소최대 최적 일반화 및 샘플 복잡도 경계를 수립한다. 핵노름 정규화가 저질서 메트릭에 대해 최적이며, 엄밀한 복구 오차 경계를 제공함을 보여주며, 희소 또는 저질서 메트릭을 학습하는 것이 일반 저질서 메트릭을 학습하는 것과 대략 로그 인자 수준에서 동일한 난이도를 가진다는 것을 보여준다.

ABSTRACT

This paper investigates the theoretical foundations of metric learning, focused on three key questions that are not fully addressed in prior work: 1) we consider learning general low-dimensional (low-rank) metrics as well as sparse metrics; 2) we develop upper and lower (minimax)bounds on the generalization error; 3) we quantify the sample complexity of metric learning in terms of the dimension of the feature space and the dimension/rank of the underlying metric;4) we also bound the accuracy of the learned metric relative to the underlying true generative metric. All the results involve novel mathematical approaches to the metric learning problem, and lso shed new light on the special case of ordinal embedding (aka non-metric multidimensional scaling).

연구 동기 및 목표

• 비교적 판단에서 저차원 메트릭을 학습하기 위한 일반화 및 샘플 복잡도 경계를 개발하는 것.
• 상한과 대략 로그 인자 수준에서 일치하는 최소최대 하한을 도출하여 학습 알고리즘의 최적성을 증명하는 것.
• 기존 연구에서 거의 간과된 바와 같이, 학습된 메트릭이 진정한 기저 메트릭에 비해 정확도가 어떻게 되는지를 정량화하는 것.
• 희소 또는 저질서 메트릭을 학습하는 것이 일반 저질서 메트릭을 학습하는 것과 비슷한 난이도를 가지며, 이는 핵노름 정규화가 더 제약이 적은 가정을 가짐을 시사한다.

제안 방법

• 삼중거리 비교로부터 저질서 및 희소 메트릭 학습의 일반화 오차 상한을 유도하기 위한 새로운 수학적 프레임워크를 사용한다.
• 레메처 복잡도와 커버링 수 기법을 적용하여 샘플 복잡도를 특징 차원 $p$와 메트릭 질서 $d$의 함수로 경계한다.
• 상한과 다항로그 인자 수준에서 일치하는 최소최대 하한을 도출하여 학습 접근법의 최적성을 증명한다.
• 학습된 메트릭 $\widehat{\mathbf{K}}$가 진정한 $\mathbf{K}^*$에 비해 복구 정확도를 정량화하는 모델 식별 오차 경계를 도입한다.
• 저질서 해를 촉진하기 위해 핵노름 정규화를, 희소 해를 촉진하기 위해 $\ell_{1,2}$ 그룹 라소 정규화를 각각 활용한다.
• 다양한 $p$와 $d$를 가진 시뮬레이션을 통해 이론적 결과를 검증하며, 상대 초과 위험과 복구 오차를 측정한다.

실험 결과

연구 질문

• RQ1 삼중거리 비교로부터 저질서 메트릭을 학습할 때 샘플 복잡도는 어떻게 되며, 이는 환경 차원 $p$와 질서 $d$에 따라 어떻게 변화하는가?
• RQ2 메트릭 학습 알고리즘의 일반화 오차는 내재 차원 $d$와 특징 차원 $p$에 따라 어떻게 달라지는가?
• RQ3 상한과 일치하는 최소최대 하한을 저질서 및 희소 메트릭 학습에 대해 도출할 수 있는가? 이는 알고리즘 최적성을 증명한다.
• RQ4 노이즈가 있는 삼중거리 비교로부터 진정한 기저 메트릭 $\mathbf{K}^*$를 얼마나 정확히 복구할 수 있으며, 이 복구 오차에 대한 경계는 무엇인가?
• RQ5 희소 메트릭을 학습하는 것은 저질서 메트릭을 학습하는 것보다 현저히 더 어렵거나, 통계적으로 동일한 난이도를 가지는가?

주요 결과

• 저질서 메트릭 학습의 샘플 복잡도는 $O(\gamma n \log n)$로 스케일되며, 환경 차원 $p$에 독립적이며, 이는 이전에 예상된 것보다 훨씬 작다.
• 최소최대 하한은 상한과 다항로그 인자 수준에서 일치하여, 제안된 학습 알고리즘이 통계적으로 최적임을 증명한다.
• 희소 또는 저질서 메트릭을 학습하는 것은 일반 저질서 메트릭을 학습하는 것과 통계적으로 동일한 난이도를 가지며, 이는 핵노름 정규화가 실질적으로 과도하게 제약이 없다는 것을 시사한다.
• 시뮬레이션 결과, 핵노름 정규화는 밀도가 높은 저질서 메트릭에 대해 $\ell_{1,2}$ 정규화보다 우수하며, $\ell_{1,2}$ 정규화는 희소 메트릭에 더 우수하며, 둘 다 제약이 없는 기반 모델보다 유의미하게 뛰어나다.
• 상대 초과 위험은 $d$와 $p$에 선형적으로 스케일하는 샘플 수에서 0.1 이하로 떨어지며, 이는 이론적 샘플 복잡도 경계를 확인한다.
• 복구 오차 $\|\widehat{\mathbf{K}} - \mathbf{K}^*\|_F^2 / \|\mathbf{K}^*\|_F^2$는 $O\left(\sqrt{\frac{\gamma n \log n}{|\mathcal{S}|}}\right)$로 경계되며, 샘플 수가 증가함에 따라 수렴함을 보여준다.