[논문 리뷰] Low-rank geometric mean metric learning

Mukul Bhutani, Pratik Jawanpuria외 2명|arXiv (Cornell University)|2018. 06. 14.

Face and Expression Recognition참고 문헌 7인용 수 10

한 줄 요약

이 논문은 기하 평균 거리 측정 학습(GMML)의 저차원 변종인 LR-GMML을 제안한다. 이 방법은 기하학적 다양체(manifold) 위에서 최적화를 통해 저차원 부분공간과 메트릭을 동시에 학습한다. 전체 질량의 GMML과 유사한 성능을 달성하면서도 입력 차원에 따라 선형적으로 확장되며, 기존 GMML의 O(d³) 비용을 피한다.

ABSTRACT

We propose a low-rank approach to learning a Mahalanobis metric from data. Inspired by the recent geometric mean metric learning (GMML) algorithm, we propose a low-rank variant of the algorithm. This allows to jointly learn a low-dimensional subspace where the data reside and the Mahalanobis metric that appropriately fits the data. Our results show that we compete effectively with GMML at lower ranks.

연구 동기 및 목표

• 고차원 공간에서 전체 질량의 메트릭 학습의 확장성 문제를 해결하기 위해.
• 저차원 부분공간과 그 부분공간 내에서 데이터에 적합한 메트릭을 동시에 학습하기 위해.
• 기하 평균 거리 측정 학습(GMML) 프레임워크를 저차원 구조로 적응시켜 계산 효율성을 향상시키기 위해.
• 낮은 차원 부분공간에서 작동하면서도 전체 질량의 GMML과 경쟁 가능한 분류 정확도를 유지하기 위해.
• 저차원 대칭 양의 정합 행렬(SPD)에 대해 리만 기반 최적화를 통해 확장 가능한 메트릭 학습을 가능하게 하기 위해.

제안 방법

• R^d 내 r차원 부분공간의 기하학적 다각형(manifold) 위에서 메트릭 학습을 최적화 문제로 설정한다.
• 고정된 질량 분해 A = UBU^T를 사용하며, 여기서 U ∈ R^{d×r}는 정규직교이고 B ∈ R^{r×r}는 양의 정합이다.
• 전체 질량의 대칭 양의 정합 행렬 A를 저차원 분해로 대체하여 계산 비용을 감소시킨다.
• 변환된 유사도 및 이질도 행렬의 가중 기하 평균을 통해 B에 대한 닫힌 형태의 해를 구한다.
• Manopt 도구를 사용하여 기하학적 다각형 위에서 공액 기울기(conjugate gradients)를 통해 목적 함수를 최적화한다.
• 비용 함수에 대한 U에 대한 리만 기울기를 유도하여 효율적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 메트릭의 저차원 근사가 메트릭 학습에서 성능을 유지하면서도 계산 비용을 줄일 수 있는가?
• RQ2 다양한 데이터셋과 다양한 질량에서 저차원 GMML의 성능은 전체 질량의 GMML과 어떻게 비교되는가?
• RQ3 기하학적 다각형 위에서의 최적화가 부분공간과 메트릭을 동시에 효과적으로 학습할 수 있는가?
• RQ4 저차원 접근법이 클래스 불균형과 다양한 데이터 분포에 대해 강건성을 유지하는가?
• RQ5 제안된 방법의 계산 복잡도는 기존 GMML과 비교해 어떻게 되는가?

주요 결과

• LR-GMML은 여러 UCI 데이터셋에서 전체 질량의 GMML과 유사한 분류 오차율을 달성하며, 낮은 질량에서도 성능이 유지된다.
• 이 방법은 데이터 쌍의 수 n에 대해 선형적으로 확장되며, 기존 GMML의 O(d³) 비용을 피한다.
• 질량 r에서의 계산 비용은 O(ndr + nr² + dr² + r³)이며, 이는 고차원 데이터에 대해 효율적이다.
• t = 0.5일 때, 이 공식은 원래의 GMML 목적 함수로 축소되어 기준선과의 일관성을 보장한다.
• 알고리즘은 부분공간 기저의 정규직교 변환에 대해 불변성을 유지하며, 기하학적 다각형 위에서의 정확성을 확인한다.
• 실험 결과에 따르면, 특히 저질량 설정에서 LR-GMML은 GMML을 항상 뛰어나거나 동등하게 성능을 달성한다.