[論文レビュー] Eigenvalue and Generalized Eigenvalue Problems: Tutorial

Benyamin Ghojogh, Fakhri Karray+1 more|arXiv (Cornell University)|Mar 25, 2019

Blind Source Separation Techniques参考文献 8被引用数 46

ひとこと要約

固有値問題と広義固有値問題の導入、最適化定式化、解法、および PCA や Fisher 判別分析のような機械学習の例を紹介するチュートリアル。

ABSTRACT

This paper is a tutorial for eigenvalue and generalized eigenvalue problems. We first introduce eigenvalue problem, eigen-decomposition (spectral decomposition), and generalized eigenvalue problem. Then, we mention the optimization problems which yield to the eigenvalue and generalized eigenvalue problems. We also provide examples from machine learning, including principal component analysis, kernel supervised principal component analysis, and Fisher discriminant analysis, which result in eigenvalue and generalized eigenvalue problems. Finally, we introduce the solutions to both eigenvalue and generalized eigenvalue problems.

研究の動機と目的

• 固有値問題と広義固有値問題およびそれらのスペクトル分解を説明する。
• 一般的な ML 問題がどのように固有値問題または広義固有値問題の定式化に結びつくかを示す。
• ステップバイステップの最適化定式化と対応する解法を提示する。
• PCA、カーネル SPCA、Fisher 判別分析を含む機械学習の例で補足説明する。

提案手法

• 対称行列と非対称行列の固有値問題とスペクトル分解を定義する。
• 広義固有値問題とペンシル (A, B) の概念を定義する。
• 固有値問題（Form 1–5）および広義固有値問題（Form 1–3）につながる最適化定式化を導出する。
• Rayleigh-Ritz 商と最適化におけるその役割を説明する。
• 再構成誤差と射影が PCA における固有値問題とどのように関連するかを示す。
• 行列式条件と行列変換（例: C = B^{-1}A）を用いた固有対の解法を明示的に示す。
• 広義固有値問題の厳密法と手早く雑に行う方法について論じる。

実験結果

リサーチクエスチョン

• RQ1 固有値問題と広義固有値問題の正確な定義と性質とは何か。
• RQ2 最適化定式化は実践でどのように固有値問題と広義固有値問題を生み出すのか。
• RQ3 これらの固有値問題に還元される代表的な機械学習問題は何か（例: PCA、kernel SPCA、FDA）？

主な発見

• 本論文は固有値問題と広義固有値問題と、それらの行列形式とスペクトル分解を提示する。
• 固有値問題と広義固有値問題を生み出す複数の最適化定式化を系統的に導出しており、単一ベクトルと多ベクトル（Φ）を含む定式化を含む。
• 最適化解を固有対と関連づけ、異なる最適化目的（最大化/最小化）の下で固有値の順序付けを論じている。
• 最適化解を、明示的な定式化を通じて PCA の派生、kernel SPCA、Fisher 判別分析に結びつけている。
• 広義固有値問題を解くための厳密法と手早く実用的な方法の両方を説明し、B を対角化して通常の固有値問題へ変換する方法を概説する。
• 固有値問題と一般化 Rayleigh 商の関係を明らかにする。