[논문 리뷰] Controlled Sparsity Kernel Learning

Dinesh Govindaraj, Raman Sankaran외 2명|arXiv (Cornell University)|2013. 12. 31.

Machine Learning and ELM참고 문헌 7인용 수 4

한 줄 요약

이 논문은 제어된 희소 커널 학습(CSKL)을 제안하며, 이는 다중 커널 학습(MKL) 프레임워크의 새로운 형태로, 매개변수 $ t $ 를 통해 선택된 커널의 수를 명시적으로 제어함으로써 모델의 희소성에 정밀한 조절을 가능하게 한다. $ p $ 가 직접적인 해석이 어려운 $ L_p $-노름 설정과는 달리, CSKL은 유한하고 이산적인 $ t $ 에 대한 탐색을 수행하며, 효율적으로 수렴하는 감소 기울기 강하 알고리즘을 활용한다. Caltech101에서의 실험 결과, CSKL은 희소(예: SimpleMKL) 및 비희소(예: L2-MKL) 기반 모델보다 더 높은 정확도를 달성하며, 사용자가 제어할 수 있는 최적의 커널 수를 선택한다.

ABSTRACT

Multiple Kernel Learning(MKL) on Support Vector Machines(SVMs) has been a popular front of research in recent times due to its success in application problems like Object Categorization. This success is due to the fact that MKL has the ability to choose from a variety of feature kernels to identify the optimal kernel combination. But the initial formulation of MKL was only able to select the best of the features and misses out many other informative kernels presented. To overcome this, the Lp norm based formulation was proposed by Kloft et. al. This formulation is capable of choosing a non-sparse set of kernels through a control parameter p. Unfortunately, the parameter p does not have a direct meaning to the number of kernels selected. We have observed that stricter control over the number of kernels selected gives us an edge over these techniques in terms of accuracy of classification and also helps us to fine tune the algorithms to the time requirements at hand. In this work, we propose a Controlled Sparsity Kernel Learning (CSKL) formulation that can strictly control the number of kernels which we wish to select. The CSKL formulation introduces a parameter t which directly corresponds to the number of kernels selected. It is important to note that a search in t space is finite and fast as compared to p. We have also provided an efficient Reduced Gradient Descent based algorithm to solve the CSKL formulation, which is proven to converge. Through our experiments on the Caltech101 Object Categorization dataset, we have also shown that one can achieve better accuracies than the previous formulations through the right choice of t.

연구 동기 및 목표

• 기존 다중 커널 학습(MKL) 설정에서 선택된 커널 수에 대한 명시적 제어가 부족한 문제를 해결하기 위해.
• $ p $ 가 선택된 커널 수와 직접적인 대응이 없는 $ L_p $-노름 MKL의 한계를 극복하기 위해.
• 사용자가 사용하는 커널 수를 명시적으로 조절할 수 있도록 하는 제안을 통해 정확도와 계산 효율성의 균형을 이루기 위해.
• 더 나은 지지 벡터 수와 학습 오차 제어를 위해 MKL 프레임워크를 $ \nu $-SVMs로 확장하기 위해.
• 제어된 희소성의 효과가 물체 분류 작업에서 뛰어난 분류 성능을 이끌어내는지 경험적으로 검증하기 위해.

제안 방법

• 선택된 커널 수가 매개변수 $ t $ 를 통해 명시적으로 제어되는 새로운 MKL 제안, 제어된 희소 커널 학습(CSKL).
• 커널 조합에서 정확히 $ t $ 개의 커널만 비영이 되도록 강제하는 제약 조건이 포함된 최적화 문제 도입.
• CSKL 제안식을 해결하기 위해 감소 기울기 강하 알고리즘을 개발하였으며, 정류점으로 수렴하는 것이 증명되었다.
• $ \nu $-SVMs로의 CSKL 프레임워크 확장으로, $ \nu $ 를 통해 희소성과 학습 오차를 동시에 제어할 수 있도록 하였다.
• $ L_p $-노름 설정에서의 연속적인 $ p $-공간과는 달리, $ t $ 에 대한 유한한 탐색 공간을 사용하여 계산 효율성이 높아졌다.
• 블록 구조의 커널 조합을 사용하며, 블록 내부에는 $ \ell_1 $-노름 정규화를 적용하고, 활성 블록 수에 대한 명시적 카디널리티 제약 조건을 도입하였다.

실험 결과

연구 질문

• RQ1 선택된 커널 수에 대한 명시적 제어가 다중 커널 학습에서 분류 정확도 향상에 기여할 수 있는가?
• RQ2 CSKL에서 사용하는 유한하고 이산적인 커널 수 탐색($ t $)이 $ L_p $-노름 MKL의 연속적 파arameterization($ p $)보다 성능과 효율성 면에서 뛰어나게 되는가?
• RQ3 실제 물체 분류 작업에서 제어된 희소성은 희소(예: SimpleMKL) 및 비희소(예: $ L_2 $-MKL) 설정과 비교해 어떻게 성능을 냈는가?
• RQ4 $ \nu $-SVM 확장된 CSKL이 지지 벡터 수와 분류 정확도 사이의 더 나은 트레이드오���을 제공할 수 있는가?
• RQ5 다양한 이진 분류 문제에서 성능을 최대화하는 최적의 $ t $ 값이 존재하는가?

주요 결과

• Caltech101의 1-vs-1 설정에서, $ \nu $-CSKL은 5151개의 이진 분류기 중 5112개에서 $ L_2 $-MKL을 능가했다.
• 1-vs-Rest 설정에서, $ \nu $-CSKL은 102개의 분류기 중 97개에서 $ L_2 $-MKL을, 102개 중 91개에서 SimpleMKL을 능가했다.
• CSKL은 $ L_2 $-MKL와 유사한 성능를 달성했지만, 훨씬 적은 수의 커널을 사용했으며, $ t = 4 $ 률 초과하면 정확도가 포화 상태에 도달했다.
• CSKL이 선택한 최적의 커널 수는 일반적으로 사용 가능한 전체 커널 수보다 적었으며, 이는 모든 커널이 동일하게 기여하지는 않음을 시사한다.
• 히스토그램 분석 결과, CSKL은 일반적으로 SimpleMKL(종종 1~2개만 선택)보다 더 많은 서술자를 선택했고, $ L_2 $-MKL(모든 커널을 선택)보다는 적은 수를 선택함으로써 균형 잡힌 고성능 서브셋을 찾을 수 있음을 확인했다.
• CSKL이 선택하는 서술자 수는 $ t $ 가 증가함에 따라 단조적으로 증가하며, $ t $ 가 최적 범위를 초과할 경우에만 모든 20개의 커널이 선택된다. 이는 모델의 제어 가능성과 일치한다.