[논문 리뷰] Metric Learning on Manifolds

Max Aalto, Nakul Verma|arXiv (Cornell University)|2019. 02. 05.

Topological and Geometric Data Analysis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 유클리드 공간의 열린 부분집합과 전역적으로 미분동형인 다양체(일반화된 표면) 위에서의 거리 측도 학습을 위한 일반적인 프레임워크를 제안한다. 이는 내재 기하학적 구조를 유지하는 거리 측도를 학습하여 k-means 클러스터링과 k-NN 분류 성능을 향상시킨다. 이 방법은 비유클리드 공간으로의 거리 측도 학습 알고리즘의 확장을 가능하게 하며, 표본 복잡도 비율을 도출하고, 초구형 임bedding을 사용하여 실제 네트워크 및 텍스트 데이터에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Recent literature has shown that symbolic data, such as text and graphs, is often better represented by points on a curved manifold, rather than in Euclidean space. However, geometrical operations on manifolds are generally more complicated than in Euclidean space, and thus many techniques for processing and analysis taken for granted in Euclidean space are difficult on manifolds. A priori, it is not obvious how we may generalize such methods to manifolds. We consider specifically the problem of distance metric learning, and present a framework that solves it on a large class of manifolds, such that similar data are located in closer proximity with respect to the manifold distance function. In particular, we extend the existing metric learning algorithms, and derive the corresponding sample complexity rates for the case of manifolds. Additionally, we demonstrate an improvement of performance in $k$-means clustering and $k$-nearest neighbor classification on real-world complex networks using our methods.

연구 동기 및 목표

• 기하학적으로 굴절된 다양체 위에 임bed된 상징적 데이터(예: 텍스트, 그래프)와 같은 비유클리드 데이터 표현을 위한 일반화 가능한 거리 측도 학습 방법의 부족을 해결하기 위해.
• 일반화된 표면—R^d의 열린 부분집합과 전역적으로 미분동형인 다양체—위에서 거리 측도 학습을 위한 이론적으로 타당하고 실용적으로 구현 가능한 프레임워크를 개발하기 위해.
• 기존의 거리 측도 학습 알고리즘(예: metric-MMC, LMNN)을 유클리드 공간 외의 다양체에서도 작동하도록 확장하면서도 이론적 표본 복잡도 비율을 유지하기 위해.
• 일반화된 k-means 알고리즘과 지오데식 거리 근사화를 도입하여 비유클리드 다양체 위에서 효과적인 클러스터링과 분류를 가능하게 하기 위해.

제안 방법

• 프레임워크는 일반화된 표면(GS)을 대상으로 하며, 이는 R^d의 열린 부분집합과 전역적으로 미분동형인 다양체로 정의되며, 단일 차트 아틀라스를 통해 명시적인 기하 계산이 가능하다.
• 유클리드 노름을 리만 거리 함수로 대체하여 다양체 위의 지오데식 거리 기반으로 목적 함수를 재정의함으로써 거리 측도 학습을 일반화한다.
• 벡터 평균에 의존하지 않는 다중 거리 기반 최적화를 통해 목적 함수를 재구성한 새로운 k-means 클러스터링 알고리즘을 제안한다.
• 지오데식 거리 근사화 알고리즘을 포함하여 일반화된 표면 위의 최단 경로를 추정함으로써 거리 측도 학습 성능 평가에 필수적인 요소를 확보한다.
• Verma & Branson(2015)의 결과를 다양체에 임베딩된 데이터로 확장하여 일반화된 표면 위에서의 거리 측도 학습에 대한 이론적 표본 복잡도 비율을 유도한다.
• 초구형 임베딩(예: 초구면 모델)을 사용하여 검증하고, 20newsgroup, football, polbooks, adjnoun 등의 실제 데이터셋에 적용하였다.

실험 결과

연구 질문

• RQ1 비유클리드 다양체, 예를 들어 초구형 또는 표면 다양체와 같이 벡터 공간이 아닌 곳에도 거리 측도 학습을 일반화할 수 있는가?
• RQ2 중심점의 개념이 정의되지 않는 다양체에서 k-means 클러스터링은 어떻게 재정의할 수 있는가?
• RQ3 일반화된 표면 위에서의 거리 측도 학습에 대한 이론적 표본 복잡도 비율은 무엇이며, 유클리드 설정과 비교해 볼 때 어떻게 되는가?
• RQ4 다양체 위에서의 거리 측도 학습은 실제 상징적 데이터셋에서 k-NN 분류 및 클러스터링의 후행 성능을 뚜렷이 향상시킬 수 있는가?
• RQ5 실용적인 거리 측도 학습을 가능하게 하기 위해 일반화된 표면 위에서 지오데식 거리를 효율적으로 근사화하는 방법은 무엇인가?

주요 결과

• 20newsgroup 데이터셋에서, 초구면 임베딩 위에서의 거리 측도 학습은 표준 초구면 임베딩 대비 정규화된 상호정보량(NMI)을 0.015 단위(3% 상대적 향상) 향상시켰다.
• k-NN 분류에서, 거리 측도 학습을 적용한 초구면은 football 데이터셋에서 테스트 오차 0.25 ± 0.10을 기록했으며, 이는 유클리드 임베딩에서 보고된 0.79 오차에 비해 뚜렷한 향상이다.
• adjnoun 데이터셋에서, 거리 측도 학습은 k-NN 오차를 초구면 기반의 0.55 ± 0.09에서 0.49 ± 0.05로 감소시켜 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 쌍방의 거리 최소화 기반의 일반화된 k-means 알고리즘은 벡터 공간의 구조가 없는 다양체 위에서도 데이터를 성공적으로 클러스터링하였다.
• 내재 기하학적 구조를 고려한 거리 측도 학습을 통해 복잡한 네트워크 데이터셋에서 최신 기술 수준의 성능을 달성하였다.
• 일반화된 표면 위에서의 거리 측도 학습에 대한 이론적 표본 복잡도 비율을 도출하였으며, 유클리드 설정과 일치하는 결과를 보여 이론적 일반화 능력을 검증하였다.