[論文レビュー] Regularization in Relevance Learning Vector Quantization Using l one Norms

Martin Riedel, Marika Kästner+2 more|arXiv (Cornell University)|Oct 18, 2013

Sparse and Compressive Sensing Techniques参考文献 2被引用数 3

ひとこと要約

本稿では、ハイパースペクトルデータにおけるスパースな関連プロファイルを強制するために、l1-ノルムの微分可能近似を用いたl1正則化手法を、一般化学習ベクトル量子化（GLVQ）における関連学習に提案する。勾配降下学習に統合することで、非情報的スペクトルバンドを排除するスパarsityを達成し、分類精度を維持する。コーヒーのハイパースペクトルデータを用いた実験では、83.96%の精度を達成し、正則化下でも安定した性能を示した。

ABSTRACT

We propose in this contribution a method for l one regularization in prototype based relevance learning vector quantization (LVQ) for sparse relevance profiles. Sparse relevance profiles in hyperspectral data analysis fade down those spectral bands which are not necessary for classification. In particular, we consider the sparsity in the relevance profile enforced by LASSO optimization. The latter one is obtained by a gradient learning scheme using a differentiable parametrized approximation of the $l_{1}$-norm, which has an upper error bound. We extend this regularization idea also to the matrix learning variant of LVQ as the natural generalization of relevance learning.

研究の動機と目的

• 高次元のハイパースペクトルデータ分類において、非ゼロの小さな関連重みが消えない問題に対処すること。
• 関連プロファイルのスパarsityを強制し、最も情報的なスペクトルバンドのみを特定すること。
• LASSO風のl1正則化を勾配ベースのGLVQ学習に統合し、オンラインで微分可能な最適化を実現すること。
• l1正則化手法をGLVQの行列学習バージョン（GMLVQ）に拡張し、特徴量の重み付けを改善すること。

提案手法

• l1ノルムの微分可能近似として、|x| ≈ (1/α) ln(2 + e^{-αx} + e^{αx}) を用い、上界誤差が 2 ln 2 / α であることを保証する。
• この近似を用いて、λi および Ωij の勾配を導出し、関連学習における勾配降下を可能にする。
• GLVQのコスト関数にl1正則化を導入し、E*(W, λ) = E(W, λ) + ξ||λ||1 と定式化。ここで ξ は重み係数である。
• GMLVQへの拡張においては、dΩ(v, w) = ||Ω(v - w)||² における行列 Ω にl1正則化を適用する。
• 行列パラメータの正則化に、一貫性のある行列ノルム ||Ω||₁ = max_{1≤j≤n} Σᵢ |Ωᵢⱼ| を用いる。
• オンライン学習における効率的最適化のため、tanh(αλj/2) を用いたシグモイド型勾配近似を採用する。

実験結果

リサーチクエスチョン

• RQ1 l1正則化は勾配ベースのGLVQ学習に効果的に統合可能か、関連プロファイルのスパarsityを達成できるか？
• RQ2 l1ノルムの微分可能近似は、分類精度を維持しつつスパarsityを達成できるか？
• RQ3 提案手法のl1正則化GLVQは、エントロピーに基づくスパarsity手法と比較して、安定性と性能に優れているか？
• RQ4 l1正則化手法は自然にGLVQの行列学習バージョン（GMLVQ）に拡張可能か？
• RQ5 正則化強度を増加させた場合、ハイパースペクトルデータにおけるスパarsityと分類精度にどのような影響を与えるか？

主な発見

• l1正則化GLVQ手法は、正則化前の完全な関連プロファイルを有するコーヒーのハイパースペクトルデータで、83.96%の分類精度を達成した。
• 正則化強度が増加するにつれ、関連プロファイルは段階的にスパース化し、非情報的スペクトルバンドが体系的に排除された。
• LASSOベースの手法はエントロピーに基づくスパarsity手法よりも高い精度を長期間維持し、正則化過程での安定性が優れていた。
• エントロピーに基づく手法は、関連重みがゼロに近づく最終段階で不安定な挙動を示した。
• l1ノルムの微分可能近似により、安定した勾配降下学習が可能となり、理論的上界誤差は 2 ln 2 / α であった。
• 本手法はGMLVQへも成功裏に拡張され、行列正則化によるスパース特徴量重み付けが ||Ω||₁ ノルムを用いて実現された。