[論文レビュー] On the numeric stability of the SFA implementation sfa-tk

Wolfgang Konen|ArXiv.org|Dec 6, 2009

Numerical Methods and Algorithms参考文献 5被引用数 6

ひとこと要約

この論文は、非線形拡張データの共分散行列のランクが不足している場合に、sfa-tk SFA 実装に数値不安定性が生じることを特定し、ランクがサイズの10％未満であっても安定性を保つ、SVDに基づくアルゴリズム（SVD_SFA）を提案する。この手法は一般化固有値分解の代わりにSVDに基づくサーピングを採用することで、近いゼロの固有値による数値的 blown-up を回避し、正確性を維持する。

ABSTRACT

Slow feature analysis (SFA) is a method for extracting slowly varying features from a quickly varying multidimensional signal. An open source Matlab-implementation sfa-tk makes SFA easily useable. We show here that under certain circumstances, namely when the covariance matrix of the nonlinearly expanded data does not have full rank, this implementation runs into numerical instabilities. We propse a modified algorithm based on singular value decomposition (SVD) which is free of those instabilities even in the case where the rank of the matrix is only less than 10% of its size. Furthermore we show that an alternative way of handling the numerical problems is to inject a small amount of noise into the multidimensional input signal which can restore a rank-deficient covariance matrix to full rank, however at the price of modifying the original data and the need for noise parameter tuning.

研究の動機と目的

• ランク不足の共分散行列下で広く使われている sfa-tk SFA 実装における数値的不安定性を診断すること。
• 滑らかでない時間系列からスローフィーチャーを抽出できない sfa-tk の失敗を解決すること。
• 特異値分解（SVD）を用いた、元の sfa-tk アルゴリズムの数値的に安定した代替手法を開発すること。
• 新しい SVD_SFA 手法と元の sfa-tk の性能を、駆動力抽出タスクにおいて比較すること。
• 後方互換性を保ちつつ数値的安定性を向上させる、オープンソース拡張版（sfa-tk.V2）を提供すること。

提案手法

• ランク不足の共分散行列に対処できるように、sfa-tk の一般化固有値分解をSVDに基づくサーピング手順に置き換える。
• 共分散行列 B = Cov(v) をSVDで分解し、S = D^(-1/2) R というサーピング行列 S を構築する。ここで D は固有値、R は固有ベクトルを表す。
• 固有値 λj ≤ ε·λ_max（ε = 1e-7）の場合はゼロとして扱い、不安定な方向を効果的に投影する。
• SVDによる修正された共分散行列の逆行列を実装し、近いゼロの固有値による除算を回避する。
• sfa2_dbg.m にデバッグモードを導入し、SVD_SFA と元の sfa-tk の結果を並べて比較可能にする。
• SVD_SFA 法に基づき、ペアワイズパターン差分の最小化を根拠とした分類のための新機能を sfa-tk に拡張する。

実験結果

リサーチクエスチョン

• RQ1 元の sfa-tk 実装が数値的不安定性により失敗する条件は何か？
• RQ2 SFA において、一般化固有値分解と比較して、SVDに基づくサーピングはどのように数値的安定性を向上させるか？
• RQ3 共分散行列がランク不足（例：フルランクの10％未満）であっても、SVD_SFA 手法は信頼性を持ってスローフィーチャーを抽出できるか？
• RQ4 共分散行列のランク不足を回復するために、ノイズ注入が代替手段として有効であるか？
• RQ5 非定常時間系列からの駆動力抽出において、SVD_SFA の性能は元の sfa-tk と比べてどうか？

主な発見

• 元の sfa-tk 実装は、非線形拡張データの共分散行列がランク不足である場合、数値的不安定性を引き起こし、誤ったスローフィーチャーを生成する。
• SVD_SFA 手法は、行列ランクがサイズの10％にまで低下しても、数値的安定性を維持できる。
• SVDに基づくサーピングは、近いゼロの固有値の逆数をゼロに設定することで、その逆数による数値的 blown-up を回避し、不安定な成分を効果的に除去する。
• ノイズ注入はランク不足の共分散行列にフルランクを回復できるが、データの変更を伴い、ノイズレベルの調整が慎重に必要となる。
• sfa-tk.V2 拡張版は SVD_SFA を後方互換性を保ちながら統合し、駆動力抽出と分類タスクの両方をサポートする。
• 新しい SVD_SFA 手法は、元の sfa-tk が失敗するような非常に規則的な時間系列でも、安定的かつ正確な結果を生成する。