[논문 리뷰] Shortest path distance in random k-nearest neighbor graphs

Morteza Alamgir, Ulrike von Luxburg|arXiv (Cornell University)|2012. 06. 27.

Data Management and Algorithms참고 문헌 12인용 수 16

한 줄 요약

이 논문은 R^d에서 i.i.d. 표본으로부터 구축된 무게 없는 k-최근접 이웃(kNN) 그래프에서 최단 경로 거리의 점근적 행동을 분석한다. 무게 없는 kNN 그래프가 낮은 밀도 영역을 선호하는 한계 거리를 유도함으로써, 만곡구조를 왜곡시키는 직관에 어긋나는 경로 선택을 유도하며, 이는 밀도 기반 거리의 의미 있는 수렴을 보장하지 못하므로, 밀도 기반 거리 추정 없이 만곡구조 학습 및 준지도 학습에 적합하지 않다.

ABSTRACT

Consider a weighted or unweighted k-nearest neighbor graph that has been built on n data points drawn randomly according to some density p on R^d. We study the convergence of the shortest path distance in such graphs as the sample size tends to infinity. We prove that for unweighted kNN graphs, this distance converges to an unpleasant distance function on the underlying space whose properties are detrimental to machine learning. We also study the behavior of the shortest path distance in weighted kNN graphs.

연구 동기 및 목표

• 표본 수 n → ∞ 일 때, 무작위 kNN 그래프에서 최단 경로 거리가 유도하는 기하적 성질을 이해하기 위해.
• 무게 없는 kNN 그래프가 왜 높은 밀도 영역을 피하는 직관에 어긋나는 최단 경로를 생성하는지 조사하기 위해.
• 다양한 간선 가중치 함수 하에서 가중치가 부여된 kNN 그래프의 최단 경로 거리의 한계를 특성화하기 위해.
• 그래프 기반 기계 학습 알고리즘에서 적절한 간선 가중치를 선택하기 위한 이론적 기반을 제공하기 위해.
• 무게 없는 kNN 그래프가 만곡구조 학습(예: Isomap) 및 준지도 학습에 미치는 영향을 부각하기 위해.

제안 방법

• 최단 경로 거리를 간선 수의 최소 경로 길이로 공식화하며, 무게 없는 경로는 간선 수를 세고, 가중치가 부여된 경로는 간선 가중치의 합을 구한다.
• 경로의 f-길이를 선적분 ∫γ f(γ(t)) |γ′(t)| dt로 정의하며, 여기서 f(x) = p(x)^{1/d}는 기저 밀도와 관련된다.
• kNN 그래프의 구조와 간선 가중치 함수의 점근적 분석을 통해 n → ∞ 일 때 최단 경로 거리의 극한을 분석한다.
• 간선 가중치 함수 h(x)를 하향성, 덧셈성, 초덧셈성의 영역으로 분류하여 최단 경로 거리의 수렴 행동을 결정한다.
• h(x) = 1(무게 없는 kNN)일 때, q(x) = p(x)^{1/d} 스케일링으로 인해 낮은 밀도 영역을 선호하는 한계 거리가 도출됨을 증명한다.
• h(x) = ||x−y||일 때, f(x) = p(x)^{1/d}를 갖는 f-거리 하에서 최단 경로 거리가 기하학적 거리로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 무게 없는 kNN 그래프에서 표본 수 n → ∞ 일 때 최단 경로 거리는 어떻게 행동하는가?
• RQ2 간선 가중치 h(||xi−xj||)를 갖는 가중치가 부여된 kNN 그래프에서 최단 경로가 유도하는 한계 거리 함수는 무엇인가?
• RQ3 왜 무게 없는 kNN 그래프에서 최단 경로가 높은 밀도 영역을 피하는가, 심지어 돌아서서라도?
• RQ4 무게 없는 kNN 그래프와 가중치가 부여된 kNN 그래프의 선택이 Isomap 및 준지도 학습의 성능에 어떻게 영향을 미치는가?
• RQ5 명시적인 밀도 추정 없이도 의미 있는 밀도 인지 거리로 수렴하는 그래프 기반 거리를 구성할 수 있는가?

주요 결과

• 무게 없는 kNN 그래프에서 최단 경로 거리는 낮은 밀도 영역을 선호하고 높은 밀도 영역을 처벌하는 한계 거리로 수렴한다.
• 이 한계 거리는 기하학적 거리나 유클리드 거리가 아니며, 기저 밀도 p(x)에 의존하는 함수로, 특히 q(x) = p(x)^{1/d}이다.
• 결과적으로 무게 없는 kNN 그래프에서 최단 경로는 높은 밀도 영역을 피하기 위해 큰 돌아가기 조치를 취하게 되어, 직관적인 기대와 반대된다.
• 만곡구조 학습(예: Isomap)에서는 이로 인해 높은 밀도 영역이 늘어나고 낮은 밀도 영역이 압축되어 심각한 왜곡이 발생한다.
• 준지도 학습에서는 무게 없는 kNN 기반 거리가 높은 밀도 영역에서의 가까움을 유지하지 못하여 자연스러운 클러스터링 구조를 반영하지 못한다.
• h(x) = ||x−y||인 가중치가 부여된 kNN 그래프는 f(x) = p(x)^{1/d}를 갖는 f-거리 하에서 기하학적 거리로 수렴하므로, 밀도 인지 학습에 적합하다.