[論文レビュー] Solving Interpretable Kernel Dimensionality Reduction

Chieh Wu, Jared Miller+3 more|arXiv (Cornell University)|Jan 1, 2019

Face and Expression Recognition被引用数 11

ひとこと要約

この論文は、反復スペクトル法（ISM）の理論的保証を、ガウスカーネルに限定されない広範なカーネル族に拡張し、多様な学習パラダイムにおいて解釈可能なカーネル次元削減（IKDR）を可能にする。各カーネルが最適な射影をもたらす主要固有ベクトルを持つ補助的 $Φ$ 行列を許容することを証明することで、ISMは解釈可能性を保ちつつ、ガウスカーネルを超える効率的な固有値分解に基づく最適化を可能にする。

ABSTRACT

Kernel dimensionality reduction (KDR) algorithms find a low dimensional representation of the original data by optimizing kernel dependency measures that are capable of capturing nonlinear relationships. The standard strategy is to first map the data into a high dimensional feature space using kernels prior to a projection onto a low dimensional space. While KDR methods can be easily solved by keeping the most dominant eigenvectors of the kernel matrix, its features are no longer easy to interpret. Alternatively, Interpretable KDR (IKDR) is different in that it projects onto a subspace extit{before} the kernel feature mapping, therefore, the projection matrix can indicate how the original features linearly combine to form the new features. Unfortunately, the IKDR objective requires a non-convex manifold optimization that is difficult to solve and can no longer be solved by eigendecomposition. Recently, an efficient iterative spectral (eigendecomposition) method (ISM) has been proposed for this objective in the context of alternative clustering. However, ISM only provides theoretical guarantees for the Gaussian kernel. This greatly constrains ISM's usage since any kernel method using ISM is now limited to a single kernel. This work extends the theoretical guarantees of ISM to an entire family of kernels, thereby empowering ISM to solve any kernel method of the same objective. In identifying this family, we prove that each kernel within the family has a surrogate $\Phi$ matrix and the optimal projection is formed by its most dominant eigenvectors. With this extension, we establish how a wide range of IKDR applications across different learning paradigms can be solved by ISM. To support reproducible results, the source code is made publicly available on \url{https://github.com/ANONYMIZED}.

研究の動機と目的

• ISMの限界に対処する。以前はガウスカーネルに対してのみ理論的保証が与えられていたため、カーネルの使用が1つのカーネルに限定されていた。
• ISMが理論的に正当化できる広範なカーネル族を同定し、これによりカーネル法への応用範囲を広げること。
• カーネル族に属する各カーネルに対して、その主要固有ベクトルが最適なIKDR射影を形成する補助的 $Φ$ 行列が存在することを確立すること。
• カーネル特徴マッピングの前に部分空間への射影を行うことで、解釈可能なカーネル次元削減（IKDR）を実現し、特徴の解釈可能性を保持すること。
• ISMベースのIKDR実装のソースコードを公開することで、再現性を確保すること。

提案手法

• 補助的 $Φ$ 行列を許容するカーネル族を同定し、低ランク近似が固有値分解に適していることを保証する。
• カーネル族に属する各カーネルに対して、IKDRの最適射影行列が補助的 $Φ$ 行列の主要固有ベクトルから構成されることを証明する。
• 補助的 $Φ$ 行列の構造を活用して、非凸なIKDR最適化問題を一連の固有値分解に再定式化し、計算を効率化する。
• 識別されたカーネル族に属する任意のカーネルに対して動作するようにISMアルゴリズムを拡張し、収束性と解釈可能性を維持する。
• 反復的非凸最適化を避けることで、計算効率を保ち、代わりにスペクトル分解に依存する。
• カーネル族に属する任意のカーネルに対して、同じスペクトル的手法を用いてIKDRを解く統一されたフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 ISMの理論的保証をガウスカーネルに限定されず、より広いカーネルクラスに拡張できるか？
• RQ2 補助的 $Φ$ 行列を構築可能であり、その主要固有ベクトルが最適なIKDR射影をもたらすような、カーネルが満たすべき構造的性質は何か？
• RQ3 ISMアルゴリズムは、ガウスカーネル以外のカーネルに対しても収束性と最適性を保つのか？
• RQ4 提案されたフレームワークは、一様なスペクトル最適化手法を用いて、多様な学習パラダイムにおけるIKDRを統一できるか？
• RQ5 補助的 $Φ$ 行列は、非凸なIKDR問題を効率的に解ける固有値分解問題に変換する仕組みをどのように提供するか？

主な発見

• ISMアルゴリズムは、ガウスカーネルに限定されず、カーネルの族全体に対して理論的に正当化され、その適用範囲が著しく拡大される。
• カーネル族に属する各カーネルは、最適なIKDR射影が $Φ$ の主要固有ベクトルから構成される補助的 $Φ$ 行列を許容する。
• 提案された手法により、カーネルマッピングの前の部分空間への射影によって、解釈可能なカーネル次元削減が実現され、非線形関係を捉えつつも特徴の解釈可能性を保持する。
• フレームワークにより、カーネル族に属する任意のカーネルに対して、効率的な固有値分解に基づくIKDR最適化が可能になり、高コストな非凸最適化を回避できる。
• 一様なスペクトル最適化手順を用いることで、異なるカーネルにわたるIKDRの統一が可能となり、広範な学習パラダイムをカバーする。
• ソースコードは https://github.com/ANONYMIZED で公開されており、結果の再現性が保証されている。