[논문 리뷰] Random Projection Trees Revisited

Aman Dhesi, Purushottam Kar|arXiv (Cornell University)|2010. 10. 19.

Topological and Geometric Data Analysis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 랜덤 프로젝션 트리(RPTrees)에 대한 더 강력한 이론적 보장을 제공하며, RPTree-Max의 크기 감소에 필요한 레벨 수에 대해 근사 최적의 다항로그 기반 상한을 증명하고, RPTree-Mean이 저차원 다양체에 적응함을 보여주는 지역 공분산 차원이 유계임을 입증한다. 이 결과들은 패킹 및 아웃라이어 비율 상한을 향상시켜 최근접 이웃 검색 및 군집화에의 적용 가능성을 높인다.

ABSTRACT

The Random Projection Tree structures proposed in [Freund-Dasgupta STOC08] are space partitioning data structures that automatically adapt to various notions of intrinsic dimensionality of data. We prove new results for both the RPTreeMax and the RPTreeMean data structures. Our result for RPTreeMax gives a near-optimal bound on the number of levels required by this data structure to reduce the size of its cells by a factor $s \geq 2$. We also prove a packing lemma for this data structure. Our final result shows that low-dimensional manifolds have bounded Local Covariance Dimension. As a consequence we show that RPTreeMean adapts to manifold dimension as well.

연구 동기 및 목표

• RPTree-Max의 이론적 이해를 향상시키기 위해, 셀 크기를 s ≥ 2의 요소로 감소시키는 데 필요한 레벨 수에 대한 더 강력한 상한을 제공하는 것.
• 주어진 구를 포함하는 RPTree-Max의 가장 작은 셀에 대한 효과적인 아웃라이어 비율 상한을 확립하여, 더 강력한 패킹 보조정리를 가능하게 하는 것.
• 저차원 다각형이 유계인 지역 공분산 차원을 갖는다는 것을 증명함으로써, RPTree-Mean이 다양체 차원에 적응함을 보여주는 것.
• RPTree 프레임워크를 통해 기하학적 차원 개념(예: 이중 차원)과 통계적 개념(예: 지역 공분산 차원)을 연결하는 것.

제안 방법

• 랜덤 프로젝션과 레벨 간의 셀 수축에 대한 확률적 분석을 사용하여 RPTree-Max에 대한 일반화된 크기 감소 보조정리를 증명하는 것.
• 고정된 구 B를 포함하는 가장 작은 RPTree-Max 셀을 분석하여 효과적인 아웃라이어 비율 상한을 도입하며, 측도 집중과 거리 공간의 엔트로피를 활용하는 것.
• 효과적인 아웃라이어 비율 상한에서 유도된 패킹 보조정리를 사용하여, 주어진 구와 교차하는 서로소 셀의 수를 제어하는 것.
• 임의의 저차원 다각형 M에 대해 지역 공분산 차원이 유계임을 기하학적 및 확률적 추론(접선 공간과 프로젝션에 기반)을 통해 보여주는 것.
• 랜덤 프로젝션 샘플링을 통해 존슨-린든스트라우스 보조정리를 암묵적으로 적용하여 차원 감소 성질을 유지하는 것.
• 임의 부분공간에 대한 투영의 제곱합이 거리의 (1−ε) 요소 내에서 유지됨을 이용하여, 차원 인식 군집화 및 회귀를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 RPTree-Max에서 셀 크기를 s ≥ 2의 요소로 감소시키는 데 필요한 레벨 수는 이전에 알려진 것보다 더 엄격하게 상한을 가질 수 있는가?
• RQ2 RPTree-Max는 랜덤화된 구조에도 불구하고, 강력한 패킹 보조정리를 지원할 수 있는 의미 있는 아웃라이어 비율 보장을 갖는가?
• RQ3 RPTree-Mean의 내재 차원에 대한 적응성은 공식적으로 다양체 차원과 연결될 수 있는가?
• RQ4 저차원 다각형의 지역 공분산 차원은 유계이며, 만약 그렇다면 이는 RPTree-Mean의 성능에 어떤 영향을 미치는가?
• RQ5 RPTree-Max의 패킹 보장에서 지수 항에 있는 log(R/r) 의존성을 제거할 수 있는가?

주요 결과

• RPTree-Max에서 셀 크기를 s ≥ 2의 요소로 감소시키는 데 필요한 레벨 수는 (d log s)^O(1) 이하로 유계이며, 이는 이전의 상한보다 향상된 것이다.
• 고정된 반지름 R의 구 B를 포함하는 가장 작은 RPTree-Max 셀의 아웃라이어 비율은 최대 O(d√d log d) 이며, 이는 (R/r)^O(log(R/r)) 상한을 갖는 패킹 보조정리를 가능하게 한다.
• 패킹 보조정리는 서로소 셀 중 크기가 r을 초과하는 것들이 반지름 R의 구와 교차하는 수가 고정된 d에 대해 (R/r)^O(log(R/r)) 이하임을 보여준다.
• 저차원 다각형은 유계인 지역 공분산 차원을 갖으며, 이는 RPTree-Mean이 다양체 차원에 적응함을 의미한다.
• 구 B를 포함하는 가장 작은 셀의 아웃라이어 비율은 O(R d√d log d) 이하로 유계이며, 내접 구 반지름 R과 외접 구 반지름 O(R d√d log d)를 갖는다.
• 만약 다각형 상에서 거리 함수의 국소 극값이 존재한다면, 지역 공분산 차원 정의에서 반지름 매개변수를 √ετ/3에서 √ετ/2로 개선할 수 있다.