[논문 리뷰] Manifold Reconstruction and Denoising from Scattered Data in High Dimension via a Generalization of $L_1$-Median

Shira Faigenbaum-Golovin, David I. W. Levin|arXiv (Cornell University)|2020. 12. 23.

Advanced Vision and Imaging참고 문헌 38인용 수 4

한 줄 요약

이 논문은 고차원 산산이 흩어진 데이터로부터 저차원 다양체를 복원하고 노이즈를 제거하기 위해 L1-중위수를 고차원으로 일반화한 비볼록 최적화 방법인 Manifold Locally Optimal Projection (MLOP)을 제안한다. 이 방법은 O(h²)의 근사 정확도를 달성하며 국소 최소점 근처에서 선형 수렴 속도를 보이며, 차원 축소를 피하면서도 노이즈, 이방성, 비균일 샘플링을 효과적으로 다룬다.

ABSTRACT

In this paper, we present a method for denoising and reconstruction of low-dimensional manifold in high-dimensional space. We suggest a multidimensional extension of the Locally Optimal Projection algorithm which was introduced by Lipman et al. in 2007 for surface reconstruction in 3D. The method bypasses the curse of dimensionality and avoids the need for carrying out dimensional reduction. It is based on a non-convex optimization problem, which leverages a generalization of the outlier robust L1-median to higher dimensions while generating noise-free quasi-uniformly distributed points reconstructing the unknown low-dimensional manifold. We develop a new algorithm and prove that it converges to a local stationary solution with a bounded linear rate of convergence in case the starting point is close enough to the local minimum. In addition, we show that its approximation order is $O(h^2)$, where $h$ is the representative distance between the given points. We demonstrate the effectiveness of our approach by considering different manifold topologies with various amounts of noise, including a case of a manifold of different co-dimensions at different locations.

연구 동기 및 목표

• 고차원, 노이즈가 있는, 비균일하게 샘플링된 데이터로부터 저차원 다양체를 복원하고 노이즈를 제거하는 데 도전하는 것.
• 정규 벡터 추정에 의존하거나 매끄럽고 노이즈가 없는 데이터를 전제로 하는 전통적 방법의 한계를 극복하는 것.
• 차원 축소를 피하고 이방성과 다양한 샘플링 밀도에 강건한 방법을 개발하는 것.
• 고차원 공간에서 기저 다양체를 노이즈 없이 준균일하게 분포된 복원 결과를 제공하는 것.
• 제안된 알고리즘에 대한 이론적 수렴성과 근사 오차 경계를 설정하는 것.

제안 방법

• 이 방법은 L1-중위수의 다차원 일반화를 통해 비볼록 최적화 문제를 고차원으로 확장하여 이방성에 강건한 성질을 확보한다.
• 데이터 적합성과 준균일한 점 분포를 촉진하는 정규화 항을 포함한 비볼록 최적화 문제를 최소화하는 방식으로 해결한다.
• 국소 투영과 고차원 공간 내 L1-중위수 기반 가중치를 활용하여 반복적으로 점의 위치를 갱신함으로써 목적 함수를 최소화한다.
• 초기값이 국소 최소점에 충분히 가까이 위치할 경우, 국소 정류점에 수렴하며 수렴 속도가 유계 선형 수렴임을 증명하였다.
• 표면 매개변수화, 정규 벡터 추정, 다양체의 내재 차원에 대한 사전 지식이 필요하지 않다.
• 복잡도는 임베딩 차원 n에 대해 선형으로 증가하며 내재 차원 d에 영향을 받지 않는다.

실험 결과

연구 질문

• RQ1 일반화된 L1-중위수를 기반으로 한 비볼록 최적화 프레임워크가 고차원 노이즈가 있는 데이터로부터 저차원 다양체를 효과적으로 복원할 수 있는가?
• RQ2 제안된 방법이 고차원 노이즈가 많은 환경에서 기존 방법보다 높은 근사 정확도를 달성하는가?
• RQ3 차원 축소나 정규 벡터 추정 없이도 국소 최소점으로 선형 수렴할 수 있는가?
• RQ4 다양한 여유 차원과 비균일 샘플링을 가진 다양체에서 이 방법의 성능은 어떠한가?
• RQ5 대표 점 간 거리 h에 대해 이 방법의 이론적 근사 순서는 얼마인가?

주요 결과

• 초기 점이 국소 최소점에 충분히 가까이 위치할 경우 MLOP 알고리즘이 유계 선형 수렴 속도로 국소 정류점에 수렴한다.
• 이 방법은 입력 점들 간의 대표 거리 h에 대해 O(h²)의 근사 순서를 달성한다.
• 국소 PCA를 사용할 경우, 알고리즘이 준균일 샘플링을 유도함에 따라 노이즈가 없는 데이터를 사용할 때보다 더 높은 복원 정확도를 보인다.
• 노이즈 수준이 0.1과 0.2일 경우, 중위수 PCA 오차는 7.9에서 8.2로 약간 증가하여 노이즈에 강건함을 입증한다.
• 복잡한 위상적 특성, 예를 들어 지역마다 다른 여유 차원을 가진 다양체를 효과적으로 처리한다.
• 알고리즘의 복잡도는 임베딩 차원 n에 대해 선형이며 내재 차원 d에 영향을 받지 않아 고차원 환경에서도 확장 가능하다.