[논문 리뷰] PCA-Based Out-of-Sample Extension for Dimensionality Reduction

Yariv Aizenbud, Amit Bermanis외 1명|arXiv (Cornell University)|2015. 11. 03.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 15

한 줄 요약

이 논문은 차원 감소를 위한 새로운 PCA 기반의 샘플 외 확장 방법을 제안하며, 국소 다양체 기하학을 활용하여 새로운 데이터 포인트를 효율적으로 매핑하면서 이상치를 탐지한다. 임베딩된 데이터의 국소 PCA를 사용하여 확률적 선형 시스템을 구성함으로써, 오차가 유계임을 확보하고 마할라노비스 거리 기반의 이질성 측도를 제공한다. 이는 합성 및 실세계 데이터에서 Nyström 및 기타 커널 기반 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Dimensionality reduction methods are very common in the field of high dimensional data analysis. Typically, algorithms for dimensionality reduction are computationally expensive. Therefore, their applications for the analysis of massive amounts of data are impractical. For example, repeated computations due to accumulated data are computationally prohibitive. In this paper, an out-of-sample extension scheme, which is used as a complementary method for dimensionality reduction, is presented. We describe an algorithm which performs an out-of-sample extension to newly-arrived data points. Unlike other extension algorithms such as Nyström algorithm, the proposed algorithm uses the intrinsic geometry of the data and properties for dimensionality reduction map. We prove that the error of the proposed algorithm is bounded. Additionally to the out-of-sample extension, the algorithm provides a degree of the abnormality of any newly-arrived data point.

연구 동기 및 목표

• 크고 동적으로 증가하는 데이터셋에 대해 차원 감소 맵을 다시 계산하는 데 계산적으로 불가능한 문제를 해결하기 위해.
• 데이터 다양체의 내재 기하학을 유지하는 효율적인 샘플 외 확장 방법을 개발하기 위해.
• 임베딩된 공간에서 이상 또는 이질 데이터 포인트를 자동으로 탐지할 수 있도록 하기 위해.
• Nyström 및 관련 방법에서 관찰되는 악조건의 커널 행렬과 커널 파라미터에 대한 민감성에 의존도를 줄이기 위해.
• 리프시츠 연속성 가정 하에 이론적으로 유계 오차 근사가 가능하도록 하기 위해.

제안 방법

• 매핑의 이미지에 대한 국소 PCA를 통해 임베딩된 데이터의 기하학적 구조를 기반으로 각 샘플 외 포인트의 국소 이웃을 구성한다.
• 이러한 이웃을 사용하여 확률적 선형 시스템을 설정함으로써, 기하학적으로 정보를 반영한 방식으로 샘플 외 확장을 계산한다.
• 식 (4.5)에서 유도된 가중치를 사용하여 보간 과정에서 가까운, 기하학적으로 일致하는 포인트에 더 큰 영향을 미친다.
• 식 (2.9)를 통해 계산된 확장 잔차의 마할라노비스 거리를 사용하여 이상치를 탐지하며, 이는 학습된 다양체에서의 이탈 정도를 정량화한다.
• Nyström 및 기하학적 조화 함수와 비교해 전체 커널 행렬의 대각화를 피함으로써 계산 비용을 감소시키기 위해 국소 PCA에 의존한다.
• 리프시츠 연속성 가정 하에 다중 척도 보간 및 오차 분석을 통해 검증된다.

실험 결과

연구 질문

• RQ1 차원 감소를 위한 샘플 외 확장 방법은 어떻게 효율적이면서도 기저 다양체의 기하학적 충실도를 유지할 수 있는가?
• RQ2 국소 PCA 기반의 보간 계획은 리프시츠 연속성 맵이 존재하는 조건에서 유계 오차를 달성할 수 있는가?
• RQ3 샘플 외 확장 과정 중에 이상 데이터 포인트를 자동으로 탐지할 수 있는가?
• RQ4 이 방법은 Nyström 및 기하학적 조화 함수에 비해 어떤 계산적 및 수치적 이점이 있는가?
• RQ5 제안된 방법은 합성 및 실세계 데이터 모두에서 다양체 구조를 얼마나 잘 유지하는가?

주요 결과

• 제안된 방법은 이상 데이터 포인트에 대해 유의미하게 낮은 잔차 오차를 기록했으며, 데이터 포인트 #51의 경우 정상 포인트 평균 6.21×10⁻¹⁰ 대비 잔차 오차 2.72×10⁻⁷를 기록했다.
• 마할라노비스 거리 기반 이상 탐지 방법은 DARPA 데이터셋의 레이블링된 공격 포인트를 정확히 식별했으며, 데이터 포인트 #51가 가장 높은 거리 값을 기록했다.
• 원본 차원 감소 맵이 리프시츠 연속적이라는 가정 하에 샘플 외 확장의 오차는 이론적으로 유계이다.
• 시각적 및 정량적 비교에서 이 방법은 Nyström 및 MSE 기반 확장 방법보다 뛰어난 성능을 보였으며, 특히 말굽 모양의 다양체 구조를 잘 유지했다.
• 전체 커널 행렬의 대각화를 피함으로써 계산 복잡도가 감소했으며, 국소 PCA를 사용해 이웃 구축에 의존한다.
• 알고리즘은 기하학적 충실도를 유지하면서도 새로운 데이터 포인트에 대한 임베딩을 성공적으로 확장하고 실시간 이상 탐지 기능을 제공했다.