[論文レビュー] Manifold Reconstruction and Denoising from Scattered Data in High Dimension via a Generalization of $L_1$-Median

Shira Faigenbaum-Golovin, David I. W. Levin|arXiv (Cornell University)|Dec 23, 2020

Advanced Vision and Imaging参考文献 38被引用数 4

ひとこと要約

本稿では、L1中央値を高次元に一般化することで、高次元の散在データから低次元多様体を再構築およびノイズ除去する非凸最適化手法であるManifold Locally Optimal Projection（MLOP）を提案する。O(h²)の近似精度を達成し、局所最小値付近で線形収束を示し、次元削減を回避しながらも、ノイズ、外れ値、非一様サンプリングに対しても効果的に対処する。

ABSTRACT

In this paper, we present a method for denoising and reconstruction of low-dimensional manifold in high-dimensional space. We suggest a multidimensional extension of the Locally Optimal Projection algorithm which was introduced by Lipman et al. in 2007 for surface reconstruction in 3D. The method bypasses the curse of dimensionality and avoids the need for carrying out dimensional reduction. It is based on a non-convex optimization problem, which leverages a generalization of the outlier robust L1-median to higher dimensions while generating noise-free quasi-uniformly distributed points reconstructing the unknown low-dimensional manifold. We develop a new algorithm and prove that it converges to a local stationary solution with a bounded linear rate of convergence in case the starting point is close enough to the local minimum. In addition, we show that its approximation order is $O(h^2)$, where $h$ is the representative distance between the given points. We demonstrate the effectiveness of our approach by considering different manifold topologies with various amounts of noise, including a case of a manifold of different co-dimensions at different locations.

研究の動機と目的

• 高次元でノイズがあり、非一様にサンプリングされたデータから低次元多様体を再構築およびノイズ除去する課題に対処すること。
• 法線推定に依存するか、滑らかさやノイズなしのデータを仮定する古典的手法の限界を克服すること。
• 次元削減を回避し、外れ値やサンプリング密度の変動に対してロバストな手法を開発すること。
• 高次元空間における元の多様体のノイズなしで準均一に分布する再構築を提供すること。
• 提案されたアルゴリズムの理論的収束性および近似誤差バウンドを確立すること。

提案手法

• ローカルに最適な投影（LOP）アルゴリズムを、外れ値に対するロバスト性を高めるために高次元に一般化したL1中央値の多次元版を用いて拡張する。
• データ適合性と、準均一な点分布を促進する正則化項を組み合わせたコスト関数を最小化する非凸最適化問題を解く。
• 局所的射影と高次元空間におけるL1中央値に基づく重み付けを活用し、点の位置を反復的に更新することで目的関数を最小化する。
• 初期点が局所最小値に十分近い場合、局所的停留解に収束し、収束率が有界な線形となることが証明される。
• 表面パラメータ化や法線推定、多様体の内因的次元に関する事前知識を必要としない。
• 計算量は環境次元nに線形に依存し、内因的次元dに依存しない。

実験結果

リサーチクエスチョン

• RQ1 一般化L1中央値に基づく非凸最適化フレームワークは、高次元ノイズ付きデータから低次元多様体を効果的に再構築できるか？
• RQ2 提案手法は、高次元ノイズ付き設定において、古典的手法よりも優れた近似精度を達成するか？
• RQ3 次元削減や法線推定を要件とせず、局所最小値に線形収束するか？
• RQ4 多様体のコデュオリティが異なる領域や非一様サンプリングを持つ場合、本手法はどのように性能を発揮するか？
• RQ5 代表点間隔hの観点から、本手法の理論的近似次数は何か？

主な発見

• 初期点が局所最小値に十分近い場合、MLOPアルゴリズムは有界な線形収束率で局所的停留解に収束する。
• 本手法は、hが入力点間の代表的距離であるとき、近似次数O(h²)を達成する。
• 局所PCAを用いた場合、ノイズなしデータを用いた場合よりも再構築精度が優れている。これは、アルゴリズムが準均一なサンプリングを誘導するためである。
• ノイズレベルが0.1および0.2の場合、中央値PCA誤差は7.9から8.2にわずかに増加するにとどまり、ノイズに対して高いロバスト性を示す。
• 本手法は、異なる領域でコデュオリティが変化する複雑なトポロジーに対しても効果的に対処できる。
• アルゴリズムの計算量は環境次元nに線形に依存し、内因的次元dに依存しないため、高次元へのスケーラビリティが可能である。