[논문 리뷰] Incremental kernel PCA and the Nyström method

Fredrik Hallgren, Paul W. C. Northrop|arXiv (Cornell University)|2018. 01. 31.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 커널 행렬의 고유분해에 대한 랭크-원 업데이트를 사용하여 효율적인 온라인 계산이 가능한 새로운 증분 커널 PCA 알고리즘을 제안한다. 이는 시간과 메모리 효율성을 향상시킨다. 또한 이 방법을 증분 Nyström 근사로 확장하여 데이터가 추가됨에 따라 근사 품질을 실시간으로 평가할 수 있도록 하며, 낮은 수치적 드리프트와 작은 부분집합에서도 높은 정확도를 보임을 입증하였다.

ABSTRACT

Incremental versions of batch algorithms are often desired, for increased time efficiency in the streaming data setting, or increased memory efficiency in general. In this paper we present a novel algorithm for incremental kernel PCA, based on rank one updates to the eigendecomposition of the kernel matrix, which is more computationally efficient than comparable existing algorithms. We extend our algorithm to incremental calculation of the Nyström approximation to the kernel matrix, the first such algorithm proposed. Incremental calculation of the Nyström approximation leads to further gains in memory efficiency, and allows for empirical evaluation of when a subset of sufficient size has been obtained.

연구 동기 및 목표

• 스트리밍 데이터에 적합한 효율적인 증분 커널 PCA 알고리즘을 개발하여 계산 및 메모리 오버헤드를 감소시킨다.
• 랭크-원 업데이트 하에 증분 고유분해에서 수치적 안정성과 정확도를 유지하는 데 도전한다.
• 증분 프레임워크를 Nyström 방법으로 확장하여 부분집합 구성 중 근사 품질을 동적으로 평가할 수 있도록 한다.
• 다른 랭크-원 업데이트 전략을 지원함으로써 효율성 또는 정확도 향상을 위한 유연하고 확장 가능한 알고리즘을 제공한다.
• 증분 데이터 추가 과정에서의 실시간 모니터링을 통해 Nyström 근사의 최적 부분집합 크기를 실용적으로 결정할 수 있도록 한다.

제안 방법

• 각 새로운 데이터 포인트가 도착할 때마다 커널 행렬의 고유분해를 효율적으로 업데이트하기 위해 랭크-원 업데이트 알고리즘(골루브, 1973; 번치 등, 1978)을 사용한다.
• 특징 공간 내 평균 조정을 고려하기 위해 업데이트된 커널 행렬을 랭크-원 수정의 연속으로 표현한다.
• 동일한 랭크-원 업데이트 프레임워크를 Nyström 근사에 적용하여 새로운 데이터 포인트가 추가될 때마다 낮은 랭크 근사를 점진적으로 업데이트한다.
• 수치적으로 안정적인 업데이트 절차를 사용하여 커널 행렬 또는 그 Nyström 근사의 고유분해를 유지한다.
• 재구성 오차와 수치적 드리프트를 증분 단계 전반에 걸쳐 모니터링하기 위해 프로베니우스, 스펙트럴, 트레이스 노름을 사용한다.
• 필요한 경우 근사적으로 랭크 결손 행렬을 다루기 위해 탈락 처리를 수행하지만, 제외된 점들은 상당한 계산 비용을 유발하지 않는다.

실험 결과

연구 질문

• RQ1 랭크-원 고유분해 업데이트는 증분 커널 PCA에 효과적으로 적용될 수 있는가? 기존의 배치 또는 증분 방법과 비교해 볼 때 효율성은 어떠한가?
• RQ2 특징 공간 내 평균 조정은 증분 커널 PCA에서 수치적 안정성과 정확도에 어떤 영향을 미치는가?
• RQ3 Nyström 근사는 증분적으로 계산될 수 있는가? 만약 그렇다면, 데이터 수신 중 근사 품질 평가가 가능해지는가?
• RQ4 증분 고유분해에서의 수치적 드리프트 속도는 무엇이며, 배치 계산과 비교해 볼 때 어떠한가?
• RQ5 증분 Nyström 방법은 대규모 커널 방법에서 메모리 효율성을 어떻게 향상시키며, 부분집합 크기 선택을 적응적으로 가능하게 하는가?

주요 결과

• 제안된 증분 커널 PCA 알고리즘은 카인과 수터(2007)의 비교 가능한 방법보다 더 뛰어난 계산 효율성을 달성하였으며, 동일한 시간 및 메모리 복잡도를 유지한다.
• 고유분해에서의 수치적 드리프트는 작고 다룰 수 있으며, 많은 증분 업데이트 후에도 재구성 오차 노름이 낮게 유지된다.
• 재구성 오차의 프로베니우스, 스펙트럴, 트레이스 노름이 모두 유한하게 유지되어 증분 단계 전반에 걸쳐 안정적이고 정확한 행렬 복원이 가능함을 나타낸다.
• 증분 Nyström 근사는 비교적 작은 부분집합에서도 높은 정확도를 달성하였으며, 전체 커널 행렬과 근사 간의 노름 차이가 낮게 나타남으로써 이를 입증하였다.
• 증분 Nyström 방법은 근사 품질을 실시간으로 모니터링할 수 있게 하여 데이터 기반의 부분집합 크기 선택을 가능하게 한다.
• 알고리즘은 근사적으로 랭크 결손 행렬에 대해서도 강건하며, 이러한 경우 탈락 처리가 필요할 수 있으나, 문제를 일으키는 데이터 포인트를 제외할 경우 상당한 계산 비용이 발생하지 않는다.