[논문 리뷰] Random projections of random manifolds

Subhaneil Lahiri, Peiran Gao외 1명|arXiv (Cornell University)|2016. 07. 14.

Topological and Geometric Data Analysis참고 문헌 16인용 수 5

한 줄 요약

이 논문은 고차원 공간에 임bed된 부드러운 가우시안 랜덤 다양체의 기하학을 유지하기 위해 필요한 랜덤 프로젝션 수에 대해 분석적으로 다룰 수 있고, 높은 확률을 보장하는 경계를 제안한다. 다양체의 복잡도를 통계적으로 다룰 수 있는 방식으로 부피와 곡률로 모델링함으로써, 이전 연구에 비해 훨씬 더 날카운 경계를 유도하였으며, 이는 수량적 시뮬레이션을 통해 검증되었고, 실패 확률이 환경 차원에 따라 지수적으로 감소하는 것으로 나타났다.

ABSTRACT

Interesting data often concentrate on low dimensional smooth manifolds inside a high dimensional ambient space. Random projections are a simple, powerful tool for dimensionality reduction of such data. Previous works have studied bounds on how many projections are needed to accurately preserve the geometry of these manifolds, given their intrinsic dimensionality, volume and curvature. However, such works employ definitions of volume and curvature that are inherently difficult to compute. Therefore such theory cannot be easily tested against numerical simulations to understand the tightness of the proven bounds. We instead study typical distortions arising in random projections of an ensemble of smooth Gaussian random manifolds. We find explicitly computable, approximate theoretical bounds on the number of projections required to accurately preserve the geometry of these manifolds. Our bounds, while approximate, can only be violated with a probability that is exponentially small in the ambient dimension, and therefore they hold with high probability in cases of practical interest. Moreover, unlike previous work, we test our theoretical bounds against numerical experiments on the actual geometric distortions that typically occur for random projections of random smooth manifolds. We find our bounds are tighter than previous results by several orders of magnitude.

연구 동기 및 목표

• 부드러운 다양체 기하학 유지에 대한 랜덤 프로젝션 이론적 경계와 그 실용적 계산 가능성 사이의 격차를 해결하기 위해, 특히 조건수나 지오데식 커버링 정규성과 같이 다루기 어려운 기하 측도에 의존하지 않고도 가능하도록 하는 것.
• 부드러운 랜덤 다양체의 기하학적 구조를 유지하기 위해 필요한 랜덤 프로젝션 수에 대해 분석적으로 다룰 수 있고, 높은 확률을 보장하는 경계를 도출하는 것.
• 이론적 예측을 랜덤 가우시안 다양체에 대한 랜덤 프로젝션의 수치 시뮬레이션과 비교하여, 경계의 날카움을 실증적으로 검증하는 것.
• 기하학적 성질인 셀 직경, 곡률, 접선 평면 정렬과 연관지어, 장거리 및 단거리 끈 성분으로 분해된 랜덤 프로젝션의 일반적인 왜곡을 정량화하는 것.
• 계산 가능하고 실증적으로 검증된 경계를 제공함으로써, 데이터 과학 및 신경과학 분야에서 차원 축소를 위한 실용적인 프레임워크를 제공하는 것.

제안 방법

• 저자들은 ℝ^N 내의 가우시안 랜덤 부분다양체로 부드러운 랜덤 다양체를 모델링하고, 통계적 앙サン블을 사용하여 일반적인 기하 행동을 정의한다.
• 랜덤 프로젝션에서의 왜곡을 먼 거리의 점들 사이의 장거리 끈과 가까운 점들 사이의 단거리 끈으로 분해하고, 기하 확률과 주각을 사용하여 각각에 대해 별도의 경계를 유도한다.
• 장거리 끈의 경우, 셀 직경, 셀 간 간격, 중심 끈 투영을 사용하여 왜곡을 경계하며, 농도 불등식을 통해 경계를 도출한다.
• 단거리 끈의 경우, 셀 곡률과 접선 평면이 투영 부분공간과 정렬되는 정도를 분석하고, 주각 분석을 단순화하기 위해 γ-근사법을 사용한다.
• 최종적으로 장거리 및 단거리 끈 왜곡을 결합하여 전체 경계를 도출하며, 이는 환경 차원 N, 내재 차원 K, 부피 ln 𝒱, 왜곡 ε, 신뢰도 δ에 따라 표현된 최종 실패 확률 경계로 나타난다.
• 결과 경계는 랜덤 다양체에 대한 랜덤 프로젝션 시뮬레이션을 통해 수치적으로 검증되었으며, δ = 0.05일 때 예측된 M* (최소 프로젝션 수)와 경험적 실패 비율을 비교함으로써 검증되었다.

실험 결과

연구 질문

• RQ1 조건수나 지오데식 커버링 정규성과 같이 다루기 어려운 기하 측도에 의존하지 않고, 부드러운 랜덤 다양체의 기하학을 유지하기 위해 필요한 랜덤 프로젝션 수에 대해 분석적으로 계산 가능한 경계를 어떻게 도출할 수 있는가?
• RQ2 부드러운 랜덤 다양체의 랜덤 프로젝션에서 일반적인 왜곡 분포는 무엇이며, 이는 환경 차원, 내재 차원, 다양체 부피와 어떻게 척도화되는가?
• RQ3 수치 시뮬레이션과 비교했을 때, 유도된 경계는 기존 이론적 결과(예: Baraniuk & Wakin, Verma)에 비해 얼마나 날카운가?
• RQ4 제안된 경계가 이전 연구를 초월하는 조건은 무엇이며, N 또는 K에 대한 다른 척도화 특성으로 인해 다른 경계가 우세해지는 경우는 언제인가?
• RQ5 기하학적 왜곡의 실패 확률은 환경 차원에 대해 지수적으로 감소할 수 있으며, 이는 실용적 환경에서 높은 확률로 성립하는가?

주요 결과

• 식 (22)에 제시된 제안된 경계는 이전 이론적 경계보다 훨씬 날카롭다. 동일한 왜곡과 신뢰도 수준에서 필요한 프로젝션 수가 수개의 주기수만큼 감소한다.
• 기하학적 왜곡의 실패 확률은 환경 차원 N에 대해 지수적으로 작아지며, 실용적 환경에서 다양체 기하학의 고확률 유지 보장을 보장한다.
• 유도된 경계는 왜곡의 주요 기여 요소가 단거리 끈에 기인하며, 이는 국소 곡률과 투영 부분공간에 대한 접선 평면 정렬에 의해 결정됨을 보여준다.
• 경계는 수치 시뮬레이션을 통해 실증적으로 검증되었으며, N = 1000일 때 예측된 M*는 ε < 0.1이고 δ = 0.05일 때 필요한 최소 M와 매우 유사하게 일치함을 확인하였다. 이는 이론적 예측의 정확성을 뒷받침한다.
• 대부분의 영역에서 Baraniuk & Wakin (2009)과 Verma (2011)의 경계를 초월하며, Verma의 경계가 더 날카워지는 교차점은 N ~ 10^36에 위치해 실용적 의미에서 매우 멀리 떨어져 있다.
• 새로운 경계(식 73)에서는 ln N 항의 계수가 존재하지 않아, N이 매우 클 경우 유리한 경향을 보이지만, 매우 큰 N에 있어서는 Verma의 경계가 ln N 항의 계수가 0이므로 우세해질 수 있다.