[논문 리뷰] On the numeric stability of the SFA implementation sfa-tk

Wolfgang Konen|ArXiv.org|2009. 12. 06.

Numerical Methods and Algorithms참고 문헌 5인용 수 6

한 줄 요약

이 논문은 비선형 확장된 데이터의 공분산 행렬이 랭크 결손일 경우 sfa-tk SFA 구현에서 발생하는 수치적 불안정성을 진단하며, 랭크가 크기의 10퍼센트 미만일 때조차도 안정성을 유지하는 강력한 SVD 기반 알고리즘(SVD_SFA)을 제안한다. 이 방법은 일반화 고유값 분해를 SVD 기반의 스퍼링으로 대체하여 근처에 있는 영이 되는 고유값으로 인한 수치적 폭주를 방지하면서 정확도를 유지한다.

ABSTRACT

Slow feature analysis (SFA) is a method for extracting slowly varying features from a quickly varying multidimensional signal. An open source Matlab-implementation sfa-tk makes SFA easily useable. We show here that under certain circumstances, namely when the covariance matrix of the nonlinearly expanded data does not have full rank, this implementation runs into numerical instabilities. We propse a modified algorithm based on singular value decomposition (SVD) which is free of those instabilities even in the case where the rank of the matrix is only less than 10% of its size. Furthermore we show that an alternative way of handling the numerical problems is to inject a small amount of noise into the multidimensional input signal which can restore a rank-deficient covariance matrix to full rank, however at the price of modifying the original data and the need for noise parameter tuning.

연구 동기 및 목표

• 랭크 결손 공분산 행렬 조건에서 널리 사용되는 sfa-tk SFA 구현에서 발생하는 수치적 불안정성을 진단하기 위해.
• 불량한 조건의 공분산 행렬로 인해 sfa-tk이 정규 시간 시리즈에서 느린 특징을 추출하지 못하는 문제를 해결하기 위해.
• 특이값 분해(SVD)를 사용하여 원래 sfa-tk 알고리즘의 수치적 안정성 있는 대체 방법을 개발하기 위해.
• 새로운 SVD_SFA 방법이 원래 sfa-tk와 비교하여 구동력 추출 작업에서 성능을 어떻게 보이는지 평가하기 위해.
• 기존 구현과의 후행 호환성을 유지하면서 수치적 안정성을 향상시키는 강력한 오픈소스 확장판(sfa-tk.V2)을 제공하기 위해.

제안 방법

• 랭크 결손 공분산 행렬을 처리하기 위해 sfa-tk의 일반화 고유값 분해를 SVD 기반의 스퍼링 절차로 대체한다.
• 공분산 행렬 B = Cov(v)를 SVD로 분해한 후, D에 고유값, R에 고유벡터를 포함하는 스퍼링 행렬 S = D^(-1/2) R를 구성한다.
• 고유값 λj ≤ ε·λ_max 인 경우를 위해 임계값 ε = 1e-7를 설정하여 이를 0으로 간주함으로써 불안정한 방향을 효과적으로 제거한다.
• SVD를 이용한 수정된 공분산 행렬 역행렬 계산을 구현하여 근처에 있는 영이 되는 고유값으로 인한 나눗셈을 피한다.
• sfa2_dbg.m에 디버그 모드를 도입하여 SVD_SFA와 원래 sfa-tk 결과를 양면에서 비교한다.
• SVD_SFA 방법을 기반으로 쌍별 패턴 차이를 최소화하는 원칙에 따라 분류 기능을 sfa-tk에 추가한다.

실험 결과

연구 질문

• RQ1 원래 sfa-tk 구현이 수치적 불안정성으로 인해 실패하는 조건은 무엇인가?
• RQ2 SFA에서 일반화 고유값 분해와 비교해 SVD 기반 스퍼링이 수치적 안정성에 어떻게 기여하는가?
• RQ3 공분산 행렬이 랭크 결손일 경우(예: 전체 랭크의 10퍼센트 미만)에도 SVD_SFA 방법이 안정적으로 느린 특징을 추출할 수 있는가?
• RQ4 공분산 행렬의 랭크 결손을 복구하기 위해 SVD 대신 노이즈 주입이 어떤 영향을 미치는가?
• RQ5 비정상적인 시간 시리즈에서 원래 sfa-tk와 비교해 SVD_SFA의 성능은 어떠한가?

주요 결과

• 원래 sfa-tk 구현은 비선형 확장된 데이터의 공분산 행렬이 랭크 결손일 경우 수치적 불안정성과 잘못된 느린 특징을 유발하여 실패한다.
• SVD_SFA 방법은 행렬 크기의 10퍼센트 미만일지라도 랭크가 낮은 경우에도 수치적 안정성을 유지하면서 효과적으로 처리할 수 있다.
• SVD 기반 스퍼링은 근처에 있는 영이 되는 고유값의 역행렬을 0으로 설정하여 불안정한 성분을 효과적으로 제거함으로써 수치적 폭주를 방지한다.
• 노이즈 주입은 랭크 결손 공분산 행렬에 대해 전체 랭크를 복구할 수 있지만, 데이터 수정을 유발하고 노이즈 수준 조정이 정교한 튜닝이 필요하다.
• sfa-tk.V2 확장판은 SVD_SFA를 후행 호환성과 함께 통합하여, 구동력 추출 및 분류 작업 모두를 지원한다.
• 새로운 SVD_SFA 방법은 원래 sfa-tk가 실패하는 매우 정규적인 시간 시리즈에서도 안정적이고 정확한 결과를 도출한다.