[論文レビュー] Sparsity-accuracy trade-off in MKL

Ryota Tomioka, Taiji Suzuki|arXiv (Cornell University)|Jan 15, 2010

Sparse and Compressive Sensing Techniques参考文献 16被引用数 29

ひとこと要約

本稿は、スパース性と精度のトレードオフを、ℓ₁（スパース）と均等重み（ℓ₂）MKLの間を滑らかに補間するエラスティック・ネット正則化を用いて、複数カーネル学習（MKL）において調査する。主な発見は、最適な性能はしばしば中間の正則化パラメータ（0 < λ < 1）で達成され、特にカーネルが線形従属である場合に顕著であり、標本サイズが増加するにつれて最適なλはスパース性に近づくことである。

ABSTRACT

We empirically investigate the best trade-off between sparse and uniformly-weighted multiple kernel learning (MKL) using the elastic-net regularization on real and simulated datasets. We find that the best trade-off parameter depends not only on the sparsity of the true kernel-weight spectrum but also on the linear dependence among kernels and the number of samples.

研究の動機と目的

• 複数カーネル学習（MKL）におけるモデルのスパース性と分類精度のトレードオフを調査すること。
• エラスティック・ネットMKLにおける最適な正則化パラメータλが、データのスパース性、カーネルの依存性、標本サイズにどのように依存するかを特定すること。
• エラスティック・ネット正則化MKLフレームワークにおける効率的最適化を可能にするSpicyMKLアルゴリズムの拡張。
• 実データおよびシミュレートされたデータセットを用いた、さまざまなカーネル設定と標本サイズにおけるエラスティック・ネットMKLの性能を実験的に評価すること。

提案手法

• λ ∈ [0,1] のトレードオフパラメータを用いて、カーネル重みにℓ₁およびℓ₂ペナルティを組み合わせた正則化最適化問題としてMKLを定式化する。
• レプレセーター定理を用いて、無限次元のMKL問題をカーネル重みベクトル上の有限次元最適化問題に還元する。
• 凹関数の共役双対性を適用して、エラスティック・ネット正則化をカーネル重みβₘに対するティホノフ型ペナルティに再定式化し、効率的な最適化を可能にする。
• スケーラブルなトレーニングを可能にするために、エラスティック・ネット正則化MKLフレームワークに対応するSpicyMKLアルゴリズムを拡張する。
• 分類にロジスティック損失を用い、正則化された重みを用いた結合カーネル関数K(β) = ∑ₘ βₘKₘを最適化する。
• カーネルの依存性と真のカーネル重みスペクトルを制御したシミュレートデータセットを用い、スパース性、依存性、標本サイズの影響を分離して分析する。

実験結果

リサーチクエスチョン

• RQ1 真のカーネル重みスペクトルのスパース性に応じて、エラスティック・ネットMKLにおける最適なトレードオフパラメータλはどのように変化するか？
• RQ2 カーネルの線形従属（例えば、近隣のバンド幅から生じる）は、精度の最適なλにどのように影響するか？
• RQ3 トレーニング標本数が、MKLにおけるスパース性と精度の最適なバランスにどのように影響するか？
• RQ4 多様なデータ設定において、中間の正則化（0 < λ < 1）が、純粋なℓ₁およびℓ₂MKLを常に上回る性能を示すか？

主な発見

• スパースMKL（λ = 0）は、標本数が少ない場合、特にカーネルが依存する場合には、均等重みMKL（λ = 1）に比べてしばしば性能が劣る。
• 標本数が増加するにつれて、スパースMKLと均等重みMKLの性能差は縮まり、最適なλはよりスパースな解にシフトする。
• 分類精度が最も高くなることは、しばしば中間のλ値（0 < λ < 1）で達成され、特に隣接するバンド幅パラメータを持つカーネルが線形従属である場合に顕著である。
• カーネルが独立しており、真のカーネル重みスペクトルがスパースな場合、スパースMKL（λ ≈ 0）は少ない標本数でも高い精度を達成する。
• 特徴選択ではなくパラメータ選択のみの設定では、λ値にかかわらず精度が比較的平坦になるため、正則化の選択に対して感受性が低いことが示された。
• カーネルが従属している場合、最適なλは真のカーネル重みスペクトルに対して感受性が低く、エラスティック・ネット正則化がカーネル群内の冗長性を軽減するのに役立つことが示唆された。