[論文レビュー] Regularization of the Kernel Matrix via Covariance Matrix Shrinkage Estimation

Tomer Lancewicki|arXiv (Cornell University)|Jul 19, 2017

Face and Expression Recognition参考文献 26被引用数 3

ひとこと要約

本稿では、特徴空間の操作を明示的に行わずに、共分散行列の縮小推定を用いて分布に依存しないカーネル行列の正則化手法を提案する。この手法は、高次元・小標本設定における悪条件なカーネル行列の安定化により、MSE最適化の縮小を経て分類タスクで顕著な性能向上を達成する。

ABSTRACT

The kernel trick concept, formulated as an inner product in a feature space, facilitates powerful extensions to many well-known algorithms. While the kernel matrix involves inner products in the feature space, the sample covariance matrix of the data requires outer products. Therefore, their spectral properties are tightly connected. This allows us to examine the kernel matrix through the sample covariance matrix in the feature space and vice versa. The use of kernels often involves a large number of features, compared to the number of observations. In this scenario, the sample covariance matrix is not well-conditioned nor is it necessarily invertible, mandating a solution to the problem of estimating high-dimensional covariance matrices under small sample size conditions. We tackle this problem through the use of a shrinkage estimator that offers a compromise between the sample covariance matrix and a well-conditioned matrix (also known as the "target") with the aim of minimizing the mean-squared error (MSE). We propose a distribution-free kernel matrix regularization approach that is tuned directly from the kernel matrix, avoiding the need to address the feature space explicitly. Numerical simulations demonstrate that the proposed regularization is effective in classification tasks.

研究の動機と目的

• 標本共分散行列が悪条件または非可逆となる高次元・小標本設定におけるカーネル行列の不安定性に対処すること。
• 特徴空間の計算を明示的に行わず、統計的最適性を維持するカーネル行列正則化手法を開発すること。
• カーネル行列から直接チューニングされた、縮小に基づく正則化を提供することにより、平均二乗誤差（MSE）を最小化し、追加の構造的仮定を必要としないこと。

提案手法

• 特徴空間におけるカーネル行列と標本共分散行列の固有値の関係を活用し、縮小推定技術を移行する。
• 標本共分散行列と良好に条件付けられたターゲット行列のバランスを取る縮小推定量を定式化し、MSEを最小化する。
• カーネル行列のトレースおよびフロベニウスノルムを用いたカーネル行列要素の操作により、最適な縮小強度を解析的に導出する。
• 標本共分散行列およびターゲット行列の分散の不偏推定量を、カーネル行列のトレースおよび対角要素から導出する。
• 最終的な正則化は、カーネル行列のトレースおよび対角要素を含む閉形式式を用いてカーネル行列に直接適用する。
• この手法は分布に依存せず、データ分布や特徴空間構造に関する仮定を必要としない。

実験結果

リサーチクエスチョン

• RQ1 特徴空間やその共分散行列への明示的アクセスなしに、カーネル行列正則化を効果的に達成できるか？
• RQ2 特徴空間における標本共分散行列の縮小推定を、カーネル行列正則化手法にどのように翻訳できるか？
• RQ3 高次元・小標本条件下でのカーネル行列に対する最適な縮小強度は何か？ そして、それはカーネル行列から直接計算可能か？
• RQ4 提案手法は、標準的なカーネル手法と比較して一般化性能を向上させるか？
• RQ5 カーネル行列統計のみを用いて、分布に依存しない形で縮小推定量を導出できるか？

主な発見

• 提案手法によるカーネル行列正則化は、悪条件なカーネル行列の安定化により、高次元・小標本領域における分類性能を顕著に向上させる。
• 特徴空間の計算や追加の構造的仮定を必要とせず、MSE最小化による最適な縮小を達成する。
• 最適な縮小強度は、カーネル行列のトレースおよび対角要素から解析的に導出され、カーネル行列から直接計算可能である。
• 数値シミュレーションにより、正則化が分類タスクにおける一般化性能およびロバストネスの向上をもたらすことが確認された。
• 従来のカーネル正則化の代替として、分布に依存せず計算が効率的な手法を提供し、特に特徴数が標本数を上回る場合に顕著に有効である。