[논문 리뷰] Regularization in Relevance Learning Vector Quantization Using l one Norms

Martin Riedel, Marika Kästner외 2명|arXiv (Cornell University)|2013. 10. 18.

Sparse and Compressive Sensing Techniques참고 문헌 2인용 수 3

한 줄 요약

이 논문은 고차원의 고분광 데이터에서 희박한 관련성 프로파일을 유도하기 위해 미분 가능한 l1-노름 근사화를 사용한 l1-정규화 방법을 제안한다. 일반화된 학습 벡터 양자화(Genearalized Learning Vector Quantization, GLVQ)의 관련성 학습에 적용함으로써, 경사하강법 학습과 통합함으로써 비정보성 스펙트럼 대역을 제거하는 희박성을 달성하면서도 높은 분류 정확도를 유지한다. 이는 커피 고분광 데이터에서 83.96%의 정확도를 기록하고 정규화 하에서도 안정적인 성능을 보여주었다.

ABSTRACT

We propose in this contribution a method for l one regularization in prototype based relevance learning vector quantization (LVQ) for sparse relevance profiles. Sparse relevance profiles in hyperspectral data analysis fade down those spectral bands which are not necessary for classification. In particular, we consider the sparsity in the relevance profile enforced by LASSO optimization. The latter one is obtained by a gradient learning scheme using a differentiable parametrized approximation of the $l_{1}$-norm, which has an upper error bound. We extend this regularization idea also to the matrix learning variant of LVQ as the natural generalization of relevance learning.

연구 동기 및 목표

• 고차원의 고분광 데이터 분류에서 비영인 작은 관련성 가중치 문제를 해결하기 위해.
• 가장 정보성 있는 스펙트럼 대역만을 식별하기 위해 관련성 프로파일의 희박성을 강제하기 위해.
• LASSO 스타일의 l1-정규화를 기반으로 한 GLVQ 학습에 통합하여 온라인, 미분 가능한 최적화를 가능하게 하기 위해.
• l1-정규화 접근법을 GLVQ의 행렬 학습 변형(GMLVQ)으로 확장하여 특징 가중치 향상시키기 위해.

제안 방법

• l1-노름의 미분 가능한 근사화를 위해 |x| ≈ (1/α) ln(2 + e^{-αx} + e^{αx}) 를 사용하며, 상한 오차는 2 ln 2 / α 이다.
• 이 근사화를 적용하여 λi 및 Ωij에 대한 기울기를 유도함으로써 관련성 학습에서 경사하강법을 가능하게 한다.
• l1-정규화를 GLVQ 비용 함수에 도입하여 E*(W, λ) = E(W, λ) + ξ||λ||1 로 정의하며, 여기서 ξ는 가중 인자이다.
• GMLVQ로의 확장을 위해 dΩ(v, w) = ||Ω(v - w)||² 에서 행렬 Ω에 l1-정규화를 적용한다.
• 행렬 매개변수를 정규화하기 위해 일관된 행렬 노름 ||Ω||₁ = max_{1≤j≤n} Σᵢ |Ωᵢⱼ| 을 사용한다.
• 온라인 학습에서 효율적인 최적화를 위해 tanh(αλj/2) 형태의 시그모이드 유사 기울기 근사화를 활용한다.

실험 결과

연구 질문

• RQ1 l1-정규화는 기반으로 한 GLVQ 학습에 효과적으로 통합되어 관련성 프로파일의 희박성을 유도할 수 있는가?
• RQ2 l1-노름의 미분 가능한 근사화는 정확도를 유지하면서도 희박성을 달성하는가?
• RQ3 제안된 l1-정규화된 GLVQ는 안정성과 성능 면에서 엔트로피 기반 희박성 방법보다 어떻게 비교되는가?
• RQ4 l1-정규화 접근법은 자연스럽게 GLVQ의 행렬 학습 변형(GMLVQ)으로 확장될 수 있는가?
• RQ5 정규화 강도를 증가시킬 경우 고분광 데이터에서 희박성과 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• l1-정규화된 GLVQ 방법은 정규화 이전에 전체 관련성 프로파일을 가진 커피 고분광 데이터에서 83.96%의 분류 정확도를 달성하였다.
• 정규화 강도가 증가할수록 관련성 프로파일이 점차 희박해지며, 비정보성 스펙트럼 대역이 체계적으로 제거되었다.
• LASSO 기반 방법은 엔트로피 기반 희박성 방법보다 정확도를 오랫동안 유지하여 정규화 과정에서 더 뛰어난 안정성을 보였다.
• 엔트로피 기반 방법은 관련성 가중치가 0에 가까워지는 최종 단계에서 불안정성을 보였다.
• l1-노름의 미분 가능한 근사화 덕분에 안정적인 경사하강법 학습이 가능했으며, 이론적 상한 오차는 2 ln 2 / α 이었다.
• 이 방법은 GMLVQ로 성공적으로 확장되어 ||Ω||₁ 노름을 통한 행렬 정규화를 통해 희박한 특징 가중치를 가능하게 하였다.