[논문 리뷰] Perturbation Bounds for Procrustes, Classical Scaling, and Trilateration, with Applications to Manifold Learning

Ery Arias-Castro, Adel Javanmard외 1명|arXiv (Cornell University)|2018. 10. 22.

Indoor and Outdoor Localization Technologies참고 문헌 45인용 수 12

한 줄 요약

이 논문은 등장하는 다양체 학습 방법들인 Isomap, Landmark Isomap, Maximum Variance Unfolding에 핵심적인 역할을 하는 Procrustes 분석, 고전적 스케일링, 삼각측량에 대해 새로운 섭동 경계를 수립한다. 저자들은 데이터 섭동 하에서 날카운 오차 경계를 유도하여, 이러한 알고리즘의 등장하는 임bedding 변형에 대해 처음으로 성능 보장을 가능하게 한다. 이는 노이즈 환경에서의 강건한 차원 감소 및 국소화에 적용 가능하다.

ABSTRACT

One of the common tasks in unsupervised learning is dimensionality reduction, where the goal is to find meaningful low-dimensional structures hidden in high-dimensional data. Sometimes referred to as manifold learning, this problem is closely related to the problem of localization, which aims at embedding a weighted graph into a low-dimensional Euclidean space. Several methods have been proposed for localization, and also manifold learning. Nonetheless, the robustness property of most of them is little understood. In this paper, we obtain perturbation bounds for classical scaling and trilateration, which are then applied to derive performance bounds for Isomap, Landmark Isomap, and Maximum Variance Unfolding. A new perturbation bound for procrustes analysis plays a key role.

연구 동기 및 목표

• Isomap 및 MVU와 같은 전통적 다양체 학습 알고리즘의 이론적 강건성 이해 부족 문제를 해결하기 위해.
• 국소화 및 차원 감소의 핵심 서브루틴인 Procrustes 분석, 고전적 스케일링, 삼각측량에 대해 엄밀한 섭동 경계를 도출하기 위해.
• 유도된 섭동 경계를 활용하여 Isomap, Landmark Isomap, Maximum Variance Unfolding의 성능 보장을 수립하기 위해.
• 특히 노이즈 또는 손상된 거리 데이터 하에서 기반점 기반 방법의 강건성에 대한 이론적 기초를 제공하기 위해.
• 입력 비유사성 행렬이 섭동될 경우 임bedding 절차의 통계적 안정성을 분석하고, 측정 오차가 있는 실세계 데이터에 적용하기 위해.

제안 방법

• 행렬 섭동 이론을 사용하여 오р토곤럴 Procrustes 분석에 대한 새로운 섭동 경계를 유도하며, 이는 이후 경계를 위한 핵심 구성 요소가 된다.
• 이중 중심화된 비유사성 행렬의 고유분해 감도를 분석하여 고전적 스케일링에 대한 섭동 경계를 수립한다.
• de Silva와 Tenenbaum의 방법을 구체적으로 고려하여 삼각측량에 대한 섭동 경계를 제공한다. 이 경우 임bedding 오차를 기반점의 정확도와 거리 노이즈의 함수로 모델링한다.
• 유도된 경계를 활용하여 입력 거리 행렬의 섭동 하에서 Isomap, Landmark Isomap, Maximum Variance Unfolding의 강건성을 분석한다.
• 랜덤 행렬 이론의 농도 부등식(Tropp, 2015)을 사용하여 무작위로 선택된 기반점 집합의 반폭을 제한함으로써 안정적인 임bedding을 보장한다.
• 경로 길이와 피타고라스 유형의 부등식을 포함하는 기하학적 추론을 이론적 경계와 결합하여 삼각측량에서 오차 전파를 제어한다.

실험 결과

연구 질문

• RQ1 입력 비유사성 행렬의 섭동에 대해 고전적 스케일링은 얼마나 민감한가? 그리고 유도된 임bedding 오차에 대한 날카운 경계는 무엇인가?
• RQ2 기반점 거리의 노이즈에 대해 삼각측량의 강건성은 어떠한가? 비기반점의 임bedding 시 오차는 어떻게 전파되는가?
• RQ3 Procrustes 분석에 대한 섭동 경계를 활용하여 Isomap 및 MVU와 같은 다양체 학습 알고리즘의 성능 보장을 유도할 수 있는가?
• RQ4 기반점의 선택은 Landmark Isomap의 안정성과 정확성에 어떻게 영향을 미치며, 신뢰할 수 있는 임bedding을 위해 필요한 표본 크기는 얼마인가?
• RQ5 Isomap 및 MVU의 등장 임bedding 변형에 대해 이론적 성능 보장이 존재하는가? 그리고 이는 데이터 섭동에 어떻게 의존하는가?

주요 결과

• 논문은 고전적 스케일링에 대해 처음으로 진정된 섭동 경계를 제시하며, Sibson의 1차 테일러 근사보다 더 나은 비점근적이고 정량적인 오차 경계를 제공한다.
• 기존에 오랫동안 사용되어 온 방법임에도 불구하고, Procrustes 분석에 대해 새로운 섭동 경계를 도출하였으며, 이는 고전적 스케일링의 안정성 분석에 필수적이다.
• 삼각측량의 경우, 기하학적 제약 조건 하에서 기반점 간 최소 거리에 대해 노이즈 수준의 제곱에 비례하여 임bedding 오차가 증가함을 보여주는 섭동 경계를 도출하였다.
• Landmark Isomap의 성능이 철저히 분석되었으며, 경계는 임bedding 오차가 기반점의 수와 고전적 스케일링을 통한 기반점 임bedding의 안정성에 의존함을 보여준다.
• Isomap 및 Maximum Variance Unfolding의 등장 임bedding 형태에 대해 이론적 보장을 수립하였으며, 이는 이러한 알고리즘에 대해 처음으로 성능 경계를 제시한 것이다.
• 랜덤 행렬 농도 이론을 활용하여 기반점 선택의 안정성을 분석하였으며, 표본 크기가 $\ell \gtrsim \frac{\rho_{\infty}^2}{\omega^2} \log d$ 정도이면, 기반점 집합이 데이터의 내재 기하학을 높은 확률로 유지함을 보였다.