[论文解读] Eigenvalue and Generalized Eigenvalue Problems: Tutorial

Benyamin Ghojogh, Fakhri Karray+1 more|arXiv (Cornell University)|Mar 25, 2019

Blind Source Separation Techniques参考文献 8被引用 46

一句话总结

一个教程，介绍特征值问题和广义特征值问题、它们的优化表述、求解方法，以及机器学习示例如PCA和Fisher判别分析。

ABSTRACT

This paper is a tutorial for eigenvalue and generalized eigenvalue problems. We first introduce eigenvalue problem, eigen-decomposition (spectral decomposition), and generalized eigenvalue problem. Then, we mention the optimization problems which yield to the eigenvalue and generalized eigenvalue problems. We also provide examples from machine learning, including principal component analysis, kernel supervised principal component analysis, and Fisher discriminant analysis, which result in eigenvalue and generalized eigenvalue problems. Finally, we introduce the solutions to both eigenvalue and generalized eigenvalue problems.

研究动机与目标

• 解释特征值问题和广义特征值问题及其谱分解。
• 展示常见的机器学习问题如何产生特征值或广义特征值的表达。
• 给出逐步的优化表述及其对应的解法。
• 通过机器学习示例包括PCA、核SPCA和Fisher判别分析进行说明。

提出的方法

• 为对称矩阵和非对称矩阵定义特征值问题及谱分解。
• 定义广义特征值问题以及 pencil (A, B) 的概念。
• 推导导致特征值问题（形式1–5）和广义特征值问题（形式1–3）的优化表述。
• 解释 Rayleigh-Ritz 商及其在优化中的作用。
• 展示重构误差和投影如何在PCA中的特征值问题中相关。
• 通过行列式条件和矩阵变换（如 C = B^{-1}A）给出求解特征对的显式解。
• 讨论广义特征值问题的严格方法与快速粗略方法。

实验结果

研究问题

• RQ1 特征值问题和广义特征值问题的精确定义与性质是什么？
• RQ2 优化表述在实际中如何产生特征值问题和广义特征值问题？
• RQ3 有哪些典型的机器学习问题可以归结为这些特征值问题（如PCA、核SPCA、FDA）？

主要发现

• 本文给出特征值问题和广义特征值问题及其矩阵形式与谱分解。
• 系统推导出多种导致特征值问题和广义特征值问题的优化表述，包括单向量与多向量（Φ）形式。
• 将优化解与特征对相关联，并讨论在不同优化目标（最大化/最小化）下特征值的排序。
• 通过明确的公式将其与PCA变体、核SPCA和Fisher判别分析联系起来。
• 解释求解广义特征值问题的快速与严格方法，并概述如何对B对角化并转化为普通特征值问题。
• 阐明特征值问题与广义 Rayleigh 商之间的关系。