[論文レビュー] Solving Interpretable Kernel Dimension Reduction

Chieh Wu, Jared Miller+3 more|arXiv (Cornell University)|Sep 6, 2019

Neural Networks and Applications参考文献 40被引用数 4

ひとこと要約

この論文は、解釈可能なカーネル次元削減（IKDR）のための反復スペクトル法（ISM）を、ガウスカーネルに限定されない広範なカーネル族へと拡張し、理論的収束保証を証明した。各カーネル族に応じた代理行列Φを導入することで、固有値分解に基づく高速な最適化を実現するとともに、元の特徴量の線形投影による解釈可能性を維持し、教師あり、教師なし、半教師あり学習のあらゆる文脈への適用可能性を著しく拡大した。

ABSTRACT

Kernel dimensionality reduction (KDR) algorithms find a low dimensional representation of the original data by optimizing kernel dependency measures that are capable of capturing nonlinear relationships. The standard strategy is to first map the data into a high dimensional feature space using kernels prior to a projection onto a low dimensional space. While KDR methods can be easily solved by keeping the most dominant eigenvectors of the kernel matrix, its features are no longer easy to interpret. Alternatively, Interpretable KDR (IKDR) is different in that it projects onto a subspace extit{before} the kernel feature mapping, therefore, the projection matrix can indicate how the original features linearly combine to form the new features. Unfortunately, the IKDR objective requires a non-convex manifold optimization that is difficult to solve and can no longer be solved by eigendecomposition. Recently, an efficient iterative spectral (eigendecomposition) method (ISM) has been proposed for this objective in the context of alternative clustering. However, ISM only provides theoretical guarantees for the Gaussian kernel. This greatly constrains ISM's usage since any kernel method using ISM is now limited to a single kernel. This work extends the theoretical guarantees of ISM to an entire family of kernels, thereby empowering ISM to solve any kernel method of the same objective. In identifying this family, we prove that each kernel within the family has a surrogate $Φ$ matrix and the optimal projection is formed by its most dominant eigenvectors. With this extension, we establish how a wide range of IKDR applications across different learning paradigms can be solved by ISM. To support reproducible results, the source code is made publicly available on \url{https://github.com/chieh-neu/ISM_supervised_DR}.

研究の動機と目的

• ISMが従来ガウスカーネルに限定されていたという限界を克服し、より広いクラスのカーネルへと理論的収束保証を拡張すること。
• 提案されたカーネル族に属する任意のカーネルが、代理行列Φを介して表現可能である統一されたフレームワークを確立し、効率的な固有値分解に基づく最適化を可能にすること。
• カーネル族内のカーネルの錐結合に対しても、対応するΦ行列が得られることを示し、ISMの有効性をハイブリッドカーネル手法へと拡張すること。
• 教師あり、教師なし、半教師あり、および代替クラスタリングのあらゆる学習パラダイムにおいて、IKDR問題が共通の最適化目的関数を共有することを示し、ISMがそれらを統一的に解けるようにすること。
• 再現可能性を確保し、応用分野への導入を促進するため、公開可能な実装を提供すること。

提案手法

• 対称的で正定値半定値行列βの関数として表現可能であり、かつ2回微分可能であるという2条件を満たす新しいカーネル族を定義する。
• カーネル族に属する各カーネルに対して、最適な射影がΦの主要固有ベクトルによって与えられるような代理行列Φを定義し、高速な固有値分解を可能にする。
• カーネル族に属するカーネルの錐結合に対しても、個々のΦ行列の同じ錐結合によって得られる有効なΦ行列が得られることを証明する。
• 教師あり、教師なし、半教師あり、クラスタリングなどの複数の学習パラダイムにおけるIKDR目的関数を、ISMで解ける共通の最適化問題に再定式化する。
• ISMアルゴリズムにおける収束のサrogateとしてΦの固有値を使用し、最終的な収束確認のための代替手段として主角度を用いる。
• 最適化制約をスタイフェル多様体からグラスマン多様体に緩和することで、射影行列が生成する部分空間の収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ISMの理論的収束保証を、ガウスカーネルに限定されず、より広いクラスのカーネルへと拡張可能か？
• RQ2 どのような条件を満たすカーネルであれば、その主要固有ベクトルが最適なIKDR射影を与えるような代理行列Φを構築可能か？
• RQ3 ISM族に属するカーネルの錐結合に対しても、対応するΦ行列が得られ、ISMの最適化フレームワークが保たれるか？
• RQ4 教師あり、教師なし、半教師あり、クラスタリングなどの異なる学習パラダイムが、共通の最適化目的関数を通じてどの程度統一可能か？
• RQ5 特に固有値分解を用いる場合に、高い計算コストを伴わずに収束を効率的に監視する方法は何か？

主な発見

• ISM法が、特定の関数的および微分可能性条件を満たす広範なカーネル族へと理論的に拡張され、その適用範囲が著しく拡大された。
• カーネル族に属する各カーネルに対して、最適な射影がΦの主要固有ベクトルによって得られるような代理行列Φが存在し、高速な固有値分解が可能になった。
• カーネル族に属するカーネルの錐結合に対しても、有効なΦ行列が得られ、ISMをハイブリッドカーネル手法に適用する際の理論的保証を失うことなく利用可能となった。
• 教師あり、教師なし、半教師あり、および代替クラスタリングのあらゆる学習パラダイムにおける統一された最適化目的関数が、ISMによって解けることが示され、以前は認識されていなかった共通構造が明らかになった。
• 実験結果から、DGなどの先行手法に比べ、ISMは収束が早く、目的関数コストも低く抑えられ、600サンプルのデータセットでは2日間の実行時間が2秒未満に短縮された。
• 射影行列が元の特徴量の線形結合を明らかにするため、カーネルマッピングの前段階で低次元部分空間に射影することで、解釈可能性が維持された。