[논문 리뷰] Derivation of Coupled PCA and SVD Learning Rules from a Newton Zero-Finding Framework

Ralf Möller|arXiv (Cornell University)|2020. 03. 25.

Neural Networks and Applications참고 문헌 7인용 수 3

한 줄 요약

이 논문은 임의의 제약 조건을 갖는 벡터 추정치에 대해 결합된 주성분 분석(PCA) 및 특이값 분해(SVD) 학습 규칙을 유도하기 위한 체계적인 뉴턴 영점 탐색 프레임워크를 제안한다. 목적 함수의 최적성 조건을 제약 조건과 함께 수식화하고, 이를 뉴턴 방법을 통해 영점 방정식으로 푸름으로써, 기존의 정보 기준 기반 접근 방식이 유계된 L2 노름에만 제한되던 바람직하지만 부호가 불명확한 방법들에 비해, 비유클리드적 제약 조건(예: 벡터 성분의 합이 일정함)을 갖는 학습 규칙을 도출할 수 있게 한다.

ABSTRACT

In coupled learning rules for PCA (principal component analysis) and SVD (singular value decomposition), the update of the estimates of eigenvectors or singular vectors is influenced by the estimates of eigenvalues or singular values, respectively. This coupled update mitigates the speed-stability problem since the update equations converge from all directions with approximately the same speed. A method to derive coupled learning rules from information criteria by Newton optimization is known. However, these information criteria have to be designed, offer no explanatory value, and can only impose Euclidean constraints on the vector estimates. Here we describe an alternative approach where coupled PCA and SVD learning rules can systematically be derived from a Newton zero-finding framework. The derivation starts from an objective function, combines the equations for its extrema with arbitrary constraints on the vector estimates, and solves the resulting vector zero-point equation using Newton's zero-finding method. To demonstrate the framework, we derive PCA and SVD learning rules with constant Euclidean length or constant sum of the vector estimates.

연구 동기 및 목표

• 기존의 정보 기준 기반 방법이 부호가 불명확한 설계가 필요하고 유클리드(L2) 노름 제약 조건에만 제한된 점을 해결하기 위해, 결합된 PCA 및 SVD 학습 규칙을 도출하는 데에 있어, 광범위한 제약 조건을 갖는 벡터 추정치를 강제할 수 있는 체계적이고 원리적인 프레임워크를 제공하는 것.
• 기존의 온라인 PCA 및 SVD 학습 규칙에서 발생하는 속도-안정성 트레이드오프를 극복하기 위해, 모든 방향에서 균일한 수렴 속도를 보장하는 것.
• 고정된 L2 노름 제약 조건을 초월하여, 벡터 성분의 합이 일정한 제약 조건과 같은 제약 조건을 포함한 결합된 학습 규칙의 적용 범위를 확장하는 것.
• 해석 가능성이 높고 일반화 가능한 유도 방법을 제공하여 히وري스틱 정보 기준에 비해 더 나은 성능을 내는 것.

제안 방법

• PCA 또는 SVD의 목적 함수를 수립하고, 그 일阶 최적성 조건을 벡터 추정치에 대한 임의의 제약 조건(예: 단위 노름 또는 일정한 합)과 결합한다.
• 최적성 조건과 제약 조건을 동시에 만족하는 영점 조건을 나타내는 비선형 방정식계를 구성한다.
• 해당 방정식계를 해결하기 위해 뉴턴의 영점 탐색 방법을 적용하며, 원하는 정적점 근처에서 헤시안 행렬의 해석적 역행렬을 사용한다.
• 뉴턴 업데이트 단계로부터 벡터 및 스칼라 추정치(고유벡터/특이벡터 및 고유값/특이값)에 대한 결합된 상미분방정식(ODE)을 도출한다.
• 모든 방향에서 수렴을 안정화하기 위해, 안정성의 기반을 확보하기 위해 안정점 또는 밀려나는 점을 뉴턴 강하에 의해 흡인점으로 변환한다.
• 네 가지 구체적 사례를 통해 프레임워크를 검증한다: L2 노름 및 일정한 합 제약 조건이 있는 PCA, 동일한 제약 조건이 있는 SVD.

실험 결과

연구 질문

• RQ1 기존의 부호가 불명확한 정보 기준 기반 접근 방식을 초월하여, 통합된 수학적 프레임워크에서 결합된 PCA 및 SVD 학습 규칙을 체계적으로 도출할 수 있는가?
• RQ2 뉴턴 영점 탐색 방법을 사용하여, 벡터 성분의 합이 일정한 것과 같은 비유클리드 제약 조건을 강제하는 학습 규칙을 도출할 수 있는가?
• RQ3 기존의 라그랑주 승수 기반 뉴턴 방법과 비교했을 때, 이 프레임워크는 유도 및 수렴 성질 측면에서 어떤가?
• RQ4 최적화 기반 정보 기준 대신 영점 탐색 접근 방식을 사용할 경우, 학습 규칙의 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 고정된 L2 노름 제약 조건을 초월하여, 임의의 제약 조건을 갖는 일반화된 주성분 분석(GPCA) 문제로 일반화될 수 있는가?

주요 결과

• 뉴턴 영점 탐색 프레임워크는 기존의 정보 기준 방법으로는 접근이 어려웠던, 벡터 성분의 합이 일정한 제약 조건을 포함한 임의의 제약 조건을 갖는 결합된 PCA 및 SVD 학습 규칙을 성공적으로 도출한다.
• 유도된 학습 규칙는 모든 방향에서 균일한 수렴 속도를 보장하여, 기존의 온라인 학습 규칙에서 흔히 발생하는 속도-안정성 문제를 효과적으로 완화한다.
• 벡터 성분의 합이 일정한 제약 조건이 있는 PCA의 경우, 고유값 업데이트 식에 고유벡터 추정치의 제곱 노름을 포함하는 항이 존재하며, 이는 데이터 공분산 행렬을 활용한 더 구현 가능한 표현식으로 대체할 수 있다.
• SVD의 일정한 합 제약 조건 사례에서, 원하는 항들이 특이값 업데이트 식에 자연스럽게 도출되며, 더 우아하고 안정적인 수식 구조를 제공함을 시사한다.
• 이 프레임워크는 해가 존재하기 위해서는 비제약 최적점이 제약 다양체와 교차해야 한다는 점을 드러내며, 이는 이 방법의 핵심적인 제약 조건임을 강조한다.
• 대안으로 라그랑주-뉴턴 프레임워크가 제안되며, 여기서 라그랑주 승수를 뉴턴 단계에 포함함으로써, 안정점 해법에 대해 더 나은 수렴 행동을 보일 수 있음을 시사한다.