[論文レビュー] Manifold Denoising by Nonlinear Robust Principal Component Analysis

He Lyu, Ningyu Sha+4 more|arXiv (Cornell University)|Nov 10, 2019

Face and Expression Recognition参考文献 23被引用数 9

ひとこと要約

本稿では、局所接空間解析と曲率を考慮した最適化を組み合わせることで、非線形多様体へとロバストPCAを拡張する新規手法Nonlinear Robust Principal Component Analysis (NRPCA)を提案する。この手法は同時にスパースな外れ値をノイズ除去し、低次元の多様体構造を回復させ、MNISTの手書き数字や単細胞RNA-Seqデータを含む合成および実データ上で最先端の性能を達成しており、多様体の非一貫性条件のもとで理論的誤差バインディングを確立している。

ABSTRACT

This paper extends robust principal component analysis (RPCA) to nonlinear manifolds. Suppose that the observed data matrix is the sum of a sparse component and a component drawn from some low dimensional manifold. Is it possible to separate them by using similar ideas as RPCA? Is there any benefit in treating the manifold as a whole as opposed to treating each local region independently? We answer these two questions affirmatively by proposing and analyzing an optimization framework that separates the sparse component from the manifold under noisy data. Theoretical error bounds are provided when the tangent spaces of the manifold satisfy certain incoherence conditions. We also provide a near optimal choice of the tuning parameters for the proposed optimization formulation with the help of a new curvature estimation method. The efficacy of our method is demonstrated on both synthetic and real datasets.

研究の動機と目的

• 標準的なロバストPCAが線形部分空間を仮定するという制限を克服し、それを非線形多様体へと拡張すること。
• 高次元データ内のスパース外れ値を是正しつつ、背後にある低次元の多様体構造を保持すること。
• 局所的なパッチを個別に扱うのではなく、多様体全体を統合的な枠組みで扱うフレームワークを提供すること。
• 内在的多様体の非一貫性条件のもとで、ノイズ除去性能の理論的誤差バインディングを確立すること。
• 遺伝子発現や画像データを含む実世界のデータにおける実用的外れ値検出および是正を可能にすること。

提案手法

• 各データ点の周囲に重複する局所パッチをk近傍法（k-NN）で定義し、局所的データ行列を構築する。
• 各パッチに対して、核ノルムとL1正則化を用いて低ランクの多様体成分とスパースノイズを分離する正則化最適化問題を解く。
• 新しい曲率推定法を用いて多様体の曲率推定値を最適化の重みに組み込み、より高いロバスト性を実現する。
• 近傍割り当てを反復的に再割り当てするスケームを採用し、ノイズ除去の精度を向上させる。
• 曲率およびデータ次元数に基づいて、重みλiとβといったチューニングパラメータを自動的に選択する。
• 全体の定式化は交互最小化により解き、グローバルおよび局所的なスパース成分の整合性を制約で保証する。

実験結果

リサーチクエスチョン

• RQ1 ロバストPCAは、理論的保証を維持したまま非線形多様体へ一般化可能か？
• RQ2 局所的なパッチではなく多様体全体を扱うことで、ノイズ除去性能と安定性が向上するか？
• RQ3 曲率情報は最適化フレームワークに効果的に統合可能で、スパースノイズに対するロバスト性を向上させられるか？
• RQ4 内在的多様体の非一貫性条件のもとで、ノイズ除去誤差に対する理論的誤差バインディングを確立できるか？
• RQ5 提案手法は、実世界の非線形データセットにおいて真の多様体構造の回復とスパース外れ値の検出に有効か？

主な発見

• NRPCAはMNISTの手書き数字データにおいて、4と9の間の明確な軌道パターンを可能にするように、IsomapやLaplacian eigenmapの埋め込みを改善し、真の多様体構造を効果的に回復した。
• 単細胞RNA-Seqデータでは、NRPCAによるノイズ除去のおかげで、局所線形埋め込み（LLE）が胚体体由来の分化の9日目ごろに生物学的に意味のある分岐軌道を明らかにした。
• 曲率に基づく自動的手法により、近似的に最適なチューニングパラメータの選択が達成され、手動によるハイパーパramータチューニングへの依存が低減された。
• パッチ再割り当てを2回実行するだけで、安定的かつ高品質なノイズ除去結果が得られ、計算コストを最小限に抑えつつ精度を損なわなかった。
• 多様体の非一貫性条件のもとで理論的誤差バインディングが確立され、本手法のスパースノイズおよび多様体の曲率に対するロバスト性が裏付けられた。
• スパース成分S^iのサポートは、発生移行に関連する発現差が認められる遺伝子を特定するのに有効であり、発現差が認められる遺伝子の検出を可能にした。