[論文レビュー] Incremental kernel PCA and the Nyström method

Fredrik Hallgren, Paul W. C. Northrop|arXiv (Cornell University)|Jan 31, 2018

Stochastic Gradient Optimization Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、カーネル行列の固有値分解に対するランク1更新を用いた、新たな段階的カーネルPCAアルゴリズムを提案する。これにより、時間的・記憶容量的に効率的なオンライン計算が可能となり、時間的・記憶容量的効率が向上する。さらに、段階的Nystrom近似への拡張を実施し、データが追加される過程で近似品質の経験的評価が可能となる。数値的ずれが低減され、小さなサブセットでも高い正確性を示すことが実証された。

ABSTRACT

Incremental versions of batch algorithms are often desired, for increased time efficiency in the streaming data setting, or increased memory efficiency in general. In this paper we present a novel algorithm for incremental kernel PCA, based on rank one updates to the eigendecomposition of the kernel matrix, which is more computationally efficient than comparable existing algorithms. We extend our algorithm to incremental calculation of the Nyström approximation to the kernel matrix, the first such algorithm proposed. Incremental calculation of the Nyström approximation leads to further gains in memory efficiency, and allows for empirical evaluation of when a subset of sufficient size has been obtained.

研究の動機と目的

• ストリーミングデータに適した、計算および記憶容量のオーバーヘッドを低減した効率的な段階的カーネルPCAアルゴリズムの開発。
• ランク1更新における段階的固有値分解の数値的安定性と正確性を維持する課題への対処。
• 段階的フレームワークをNystrom法へ拡張し、サブセット構築過程での近似品質の動的評価を可能にすること。
• 代替のランク1更新戦略をサポートする柔軟で拡張可能なアルゴリズムの提供により、効率性または正確性の向上。
• 段階的なデータ追加過程での経験的モニタリングを通じて、Nystrom近似における最適なサブセットサイズの実用的決定を可能にすること。

提案手法

• Golub (1973) や Bunch et al. (1978) に基づくランク1更新アルゴリズムを用い、各新しいデータポイントの到着に伴い、カーネル行列の固有値分解を効率的に更新する。
• 特徴空間における平均補正を考慮し、更新されたカーネル行列をランク1変更の逐次的系列として表現する。
• 同じランク1更新フレームワークをNystrom近似へ適用し、新しいデータポイントが追加されるごとに低ランク近似を段階的に更新する。
• 数値的に安定した更新手順を用いて、カーネル行列またはそのNystrom近似の固有値分解を維持する。
• 再構成誤差および数値的ずれのモニタリングに、フロベニウスノルム、スペクトルノルム、トレースノルムを用いる。
• 必要に応じて、近似的にランク落ちした行列に対しては縮退処理を行うが、除外された点は顕著な計算コストを伴わない。

実験結果

リサーチクエスチョン

• RQ1 ランク1固有値分解更新は段階的カーネルPCAに効果的に適用可能か？ また、従来のバッチ法や段階的法と比較して、その効率性はいかがなものか？
• RQ2 特徴空間における平均補正は、段階的カーネルPCAにおける数値的安定性と正確性にどのように影響するか？
• RQ3 Nystrom近似は段階的に計算可能か？ また、これはデータの取り込み過程での近似品質の経験的評価を可能にするか？
• RQ4 段階的固有値分解における数値的ずれの進行速度はどの程度か？ また、バッチ計算と比較してどうなるか？
• RQ5 段階的Nystrom法は、大規模なカーネル法における記憶容量効率の向上と、適応的サブセットサイズ選択をどの程度可能にするか？

主な発見

• 提案された段階的カーネルPCAアルゴリズムは、ChinとSuter (2007) の同等手法と比較して、時間的・記憶容量的複雑性が同一ながら、より高い計算効率を達成している。
• 固有値分解における数値的ずれは小さく、管理可能であり、多数の段階的更新後でも再構成誤差ノルムが低く保たれている。
• 再構成誤差のフロベニウスノルム、スペクトルノルム、トレースノルムがすべて有界に保たれているため、段階的ステップ全体にわたり安定的かつ正確な行列回復が可能である。
• 段階的Nystrom近似は、比較的小さなサブセットでも高い正確性を達成しており、完全なカーネル行列と近似との間のノルム差が小さいことから裏付けられている。
• 段階的Nystrom法により、近似品質のリアルタイムモニタリングが可能となり、データ駆動型のサブセットサイズ選択が可能になった。
• アルゴリズムは近似的にランク落ちした行列に対しても頑健であり、このような状況では縮退処理が行われるが、問題のあるデータポイントの除外に顕著な計算コストは伴わない。