[논문 리뷰] Manifold Denoising by Nonlinear Robust Principal Component Analysis

He Lyu, Ningyu Sha외 4명|arXiv (Cornell University)|2019. 11. 10.

Face and Expression Recognition참고 문헌 23인용 수 9

한 줄 요약

이 논문은 국소 접선 공간 분석과 곡률 정보를 반영한 최적화를 결합하여 비선형 다양체로 로버스트 PCA를 확장하는 새로운 방법인 비선형 로버스트 주성분 분석(NRPCA)을 제안한다. 이 방법은 동시에 희박한 이상치를 제거하고 저차원의 다양체 구조를 복원하며, MNIST 숫자 이미지와 단세포 RNA-seq 데이터를 포함한 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다. 또한 다양체 비일관성 조건 하에서 이론적 오차 한계를 확보한다.

ABSTRACT

This paper extends robust principal component analysis (RPCA) to nonlinear manifolds. Suppose that the observed data matrix is the sum of a sparse component and a component drawn from some low dimensional manifold. Is it possible to separate them by using similar ideas as RPCA? Is there any benefit in treating the manifold as a whole as opposed to treating each local region independently? We answer these two questions affirmatively by proposing and analyzing an optimization framework that separates the sparse component from the manifold under noisy data. Theoretical error bounds are provided when the tangent spaces of the manifold satisfy certain incoherence conditions. We also provide a near optimal choice of the tuning parameters for the proposed optimization formulation with the help of a new curvature estimation method. The efficacy of our method is demonstrated on both synthetic and real datasets.

연구 동기 및 목표

• 기존 로버스트 PCA가 선형 부분공간을 가정한다는 점을 해결하기 위해 이를 비선형 다각체로 확장한다.
• 고차원 데이터에서 희박한 이상치를 수정하면서도 기저의 저차원 다각체 구조를 유지한다.
• 지역 파편을 개별적으로 다루는 것이 아니라 다각체를 통합된 전체로 간주하는 통합 프레임워크를 제공한다.
• 내재적 다각체 비일관성 조건 하에서 이상치 제거 성능에 대한 이론적 오차 한계를 수립한다.
• 유전자 발현 및 이미지 데이터와 같은 실세계 데이터에서 실용적인 이상치 탐지 및 보정을 가능하게 한다.

제안 방법

• 각 데이터 포인트 주변의 겹치는 국소 파편을 정의하기 위해 k-최근접 이웃(k-NN)을 사용하여 국소 데이터 행렬을 구성한다.
• 각 파편에 대해 핵노름과 L1 정규화를 사용하여 저랭크 다각체 성분과 희박한 노이즈를 분리하는 정규화된 최적화 문제를 해결한다.
• 새로운 곡률 추정 방법을 통해 다각체 곡률 추정치를 최적화 가중치에 통합하여 강건성을 향상시킨다.
• 이웃 할당을 개선하고 이상치 제거 정확도를 높이기 위해 반복적인 파편 재할당 기법을 도입한다.
• 곡률과 데이터 차원 수에 기반하여 자동으로 λi 및 β와 같은 튜닝 파라미터를 선택한다.
• 전반적인 공식은 교대 최소화를 통해 해결하며, 전역 및 국소 희박 성분 간의 일致성을 강제하는 제약 조건이 포함된다.

실험 결과

연구 질문

• RQ1 로버스트 PCA는 이론적 보장을 유지하면서 비선형 다각체로 일반화될 수 있는가?
• RQ2 지역 파편이 아닌 다각체 전체를 다루는 것이 이상치 제거 성능과 안정성 향상에 기여하는가?
• RQ3 곡률 정보는 최적화 프레임워크에 효과적으로 통합되어 희박한 노이즈에 대한 강건성을 향상시킬 수 있는가?
• RQ4 내재적 다각체 비일관성 조건 하에서 이상치 제거 오차에 대해 어떤 이론적 오차 한계를 설정할 수 있는가?
• RQ5 제안된 방법은 실세계 비선형 데이터셋에서 진짜 다각체 구조를 회복하고 희박한 이상치를 효과적으로 탐지할 수 있는가?

주요 결과

• NRPCA는 MNIST 숫자 이미지 데이터에서 기저의 다각체 구조를 성공적으로 복원하여, 숫자 4와 9 사이의 궤적 패턴을 더 명확히 드러내는 Isomap 및 라플라시안 고유사상 임베딩 성능을 향상시켰다.
• 단세포 RNA-seq 데이터에서 NRPCA의 이상치 제거로 인해 국소 선형 통합(LLE)이 배양체 분화의 약 제9일차에 생물학적으로 의미 있는 분기 궤적을 드러내었다.
• 곡률 기반 자동 절차를 통해 거의 최적의 튜닝 파rameter 선택이 가능해져 수동 하이퍼파rameter 튜닝에 대한 의존도를 감소시켰다.
• 파편 재할당을 두 번 시행하는 것으로도 안정적이고 고성능의 이상치 제거 결과를 달성했으며, 정확도를 희생시키지 않고 계산 비용을 최소화했다.
• 다양체 비일관성 조건 하에서 이론적 오차 한계를 확립하여, 방법의 희박한 노이즈 및 다각체 곡률에 대한 강건성을 검증했다.
• 희박 성분 S^i의 지지집합이 scRNA-seq 데이터에서 생물학적으로 관련된 유전자를 식별하여 발달 전환과 관련된 차등 발현 유전자 탐지에 기여했다.