[논문 리뷰] Eigenvalue and Generalized Eigenvalue Problems: Tutorial

Benyamin Ghojogh, Fakhri Karray외 1명|arXiv (Cornell University)|2019. 03. 25.

Blind Source Separation Techniques참고 문헌 8인용 수 46

한 줄 요약

고유값 문제와 일반화 고유값 문제, 그 최적화 형식, 해법 및 PCA와 피셔 판별 분석(FDA)과 같은 기계 학습 예제를 소개하는 입문서.

ABSTRACT

This paper is a tutorial for eigenvalue and generalized eigenvalue problems. We first introduce eigenvalue problem, eigen-decomposition (spectral decomposition), and generalized eigenvalue problem. Then, we mention the optimization problems which yield to the eigenvalue and generalized eigenvalue problems. We also provide examples from machine learning, including principal component analysis, kernel supervised principal component analysis, and Fisher discriminant analysis, which result in eigenvalue and generalized eigenvalue problems. Finally, we introduce the solutions to both eigenvalue and generalized eigenvalue problems.

연구 동기 및 목표

• 고유값 문제와 일반화 고유값 문제 및 그 스펙트럼 분해를 설명한다.
• 일반적인 ML 문제들이 어떻게 고유값 또는 일반화 고유값 형식을 얻는지 보여준다.
• 일련의 최적화 형식과 그에 상응하는 해를 제시한다.
• PCA, 커널 SPCA, Fisher 판별 분석을 포함한 기계 학습 예제를 통해 설명한다.

제안 방법

• 대칭 및 비대칭 행렬에 대한 고유값 문제와 스펙트럼 분해를 정의한다.
• 일반화 고유값 문제와 펜슬(A, B) 개념을 정의한다.
• 고유값 문제(형식 1–5)와 일반화 고유값 문제(형식 1–3)로 이어지는 최적화 형태를 도출한다.
• Rayleigh-Ritz 상수식과 최적화에서의 역할을 설명한다.
• 복원 오차와 투사가 PCA의 고유값 문제와 어떻게 연결되는지 설명한다.
• 해 고유쌍을 풀기 위한 행렬식 조건과 변환(C = B^{-1}A) 등을 통한 명시적 해를 제공한다.
• 일반화 고유값 문제에 대한 엄격한 방법과 빠르고 대충하는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 고유값 문제와 일반화 고유값 문제의 정확한 정의와 속성은 무엇인가?
• RQ2 최적화 형식이 실제로 어떻게 고유값 및 일반화 고유값 문제를 도출하는가?
• RQ3 이 고유값 문제로 축약되는 대표적인 기계 학습 문제는 무엇인가(예: PCA, 커널 SPCA, FDA)?

주요 결과

• 이 논문은 고유값 문제와 일반화 고유값 문제를 행렬 형태와 스펙트럼 분해와 함께 제시한다.
• 고유값 문제와 일반화 고유값 문제를 얻을 수 있는 여러 최적화 형식을 체계적으로 도출하며, 단일 벡터(form 1–5)와 다중 벡터(Φ) 형식을 포함한다.
• 최적화 해를 고유쌍과의 관계로 설명하고 서로 다른 최적화 목표(최대화/최소화) 하에서 고유값의 순서를 논의한다.
• PCA 변형, 커널 SPCA, Fisher 판별 분석에 대한 명시적 형식화를 통해 고유값 문제와의 연결을 보여준다.
• 일반화 고유값 문제를 해결하기 위한 빠르고 대충하는 방법과 엄격한 방법을 모두 설명하고, B를 대각화하고 일반화된 Rayleigh 상용식으로의 변환를 개략한다.
• 고유값 문제와 일반화된 Rayleigh商 간의 관계를 명확히 한다.