[論文レビュー] Spectral approximations in machine learning

Darren Homrighausen, Daniel J. McDonald|arXiv (Cornell University)|Jul 21, 2011

Neural Networks and Applications参考文献 12被引用数 4

ひとこと要約

この論文は、スペクトル機械学習における大規模なカーネル行列の固有ベクトルを近似するためのNyström拡張法とガウス型投影法を比較している。性能はタスクに依存する：中程度のサンプルサイズ（m ≈ 10% of n）での分類ではガウス型投影法がNyströmを上回るが、クラスタリングおよび多様体再構築ではNyströmが優れている。重み付きサンプリングは一時的に均等サンプリングを上回る。

ABSTRACT

In many areas of machine learning, it becomes necessary to find the eigenvector decompositions of large matrices. We discuss two methods for reducing the computational burden of spectral decompositions: the more venerable Nystom extension and a newly introduced algorithm based on random projections. Previous work has centered on the ability to reconstruct the original matrix. We argue that a more interesting and relevant comparison is their relative performance in clustering and classification tasks using the approximate eigenvectors as features. We demonstrate that performance is task specific and depends on the rank of the approximation.

研究の動機と目的

• 機械学習におけるスペクトル近似のためのNyström拡張法とガウス型投影法の原理的比較を提供すること。
• 行列再構築の正確さではなく、クラスタリング、分類、多様体回復などの下流の学習タスクに与える影響を、これらの手法がどのように影響するかを評価すること。
• 近似ランク（m）およびサンプリング戦略（均等 vs. 重み付き）が、実世界の機械学習応用における性能に与える影響を調査すること。
• 異なる学習タスクおよびデータスケールにおいて、一方の手法が他方を一貫して上回るかどうかを特定すること。

提案手法

• 研究では、正規化された重み行列Wの固有値分解を必要とする、グラフラプラシアンからの拡散マップをコアなスペクトル技術として使用している。
• Nyström法は、Wのm列（および行）をサンプリングし、補間を用いて全行列への固有値分解を拡張することで、Wのスペクトルを近似する。
• ガウス型投影法は、全行列を低次元部分空間に埋め込み、その部分空間で固有ベクトルを計算し、元の次元に再構築する。
• Nyströmの2つのバージョンをテストした：均等サンプリングとWの対角成分に基づく重み付きサンプリング。
• 近似の質は、3つのタスクで評価された：低次元多様体回復、クラスタリング、10分割交差検証を用いたSVMによる分類。
• 性能は、テストセットの誤分類率および固有ベクトル埋め込みの可視化によって測定され、小規模データセット（n=4800）では真の固有ベクトルをベンチマークとして使用した。

実験結果

リサーチクエスチョン

• RQ1 分類やクラスタリングなどの下流の機械学習タスクにおいて、ガウス型投影法はNyström法を上回るのか？
• RQ2 サンプリング戦略（均等 vs. 重み付き）の選択が、スペクトル近似におけるNyströmの性能に与える影響は何か？
• RQ3 近似ランクmが、さまざまな学習タスクにおける両手法の性能に与える影響は何か？
• RQ4 スペクトル手法において、行列再構築の正確さは、下流の学習性能の信頼できる代理指標となるのか？
• RQ5 分類タスクにおいて、ガウス型投影法がNyströmを上回り始めるmの値は何か？

主な発見

• 4800サンプルのMNISTサブセットでm = 400の分類タスクにおいて、ガウス型投影法は725件の正しく分類された（90.6％の正確さ）が、Nyström法は697～701件にとどまり、上回った。
• 同じ分類タスクにおいて、真の固有ベクトル法は756件の正しく分類された（94.5％の正確さ）を達成しており、ガウス型投影法はわずかな効率的損失しか発生していないことが示された。
• 多様体回復において、Nyströmとガウス型投影法の両方が、元の低次元構造を成功裏に回復したが、ガウス型投影法の埋め込みは真の固有ベクトルよりもわずかに歪んでいた。
• クラスタリングにおいて、ガウス型投影法はNyströmおよび真の固有ベクトルよりもノイズの多い埋め込みを生成し、内側と外側の輪の分離が悪くなった。
• より大きなm（例：n=18,000でm=4050）において、ガウス型投影法の誤分類率は著しく改善され、特にm ≥ 10% of nのとき、Nyströmを上回った。
• 重み付きNyströmは均等サンプリングのNyströmをわずかに上回ったが、差は最小限であり、サンプリング戦略の影響は、近似手法の選択に比べて限定的であることが示唆された。