[논문 리뷰] An L1 Representer Theorem for Multiple-Kernel Regression.

Shayan Aziznejad, Michaël Unser|arXiv (Cornell University)|2018. 11. 02.

Sparse and Compressive Sensing Techniques참고 문헌 65인용 수 2

한 줄 요약

이 논문은 전형적인 이차 정규화자 대신 희박성 촉진 정규화자로 일반화된 총변동성(gTV) 노름을 다중핵심 회귀(MKR)에 도입한다. gTV 정규화 하에서 해가 적응형 위치를 가진 커널 전개로 표현 가능하다는 표현 정리(representer theorem)를 확립함으로써, 바나흐 공간 프레임워크 내에서 $Ø1$-벌점된 계수를 통해 중복 제거가 가능해진다.

ABSTRACT

The theory of RKHS provides an elegant framework for supervised learning. It is the foundation of all kernel methods in machine learning. Implicit in its formulation is the use of a quadratic regularizer associated with the underlying inner product which imposes smoothness constraints. In this paper, we consider instead the generalized total-variation (gTV) norm as the sparsity-promoting regularizer. This leads us to propose a new Banach-space framework that justifies the use of generalized LASSO, albeit in a slightly modified version. We prove a representer theorem for multiple-kernel regression (MKR) with gTV regularization. The theorem states that the solutions of MKR have kernel expansions with adaptive positions, while the gTV norm enforces an $\ell_1$ penalty on the coefficients. We discuss the sparsity-promoting effect of the gTV norm which prevents redundancy in the multiple-kernel scenario.

연구 동기 및 목표

• 이차 정규화에 의존하는 전통적인 다중핵심 회귀 방법에서의 희박성 부족 문제를 해결하기 위해.
• 다중핵심 회귀에서 일반화된 총변동성(gTV) 정규화를 위한 이론적 프레임워크를 개발하기 위해.
• 개선된 희박성을 위해 바나흐 공간 설정에서 수정된 일반화된 라소를 사용할 수 있음을 정당화하기 위해.
• 커널 계수에 $Ø1$-벌점을 적용하여 다중핵심 모델의 중복을 방지하기 위해.
• gTV 정규화 하에서 해의 구조를 특징짓는 표현 정리를 수립하기 위해.

제안 방법

• RKHS 내 표준 이차 정규화자를 일반화된 총변동성(gTV) 노름으로 대체하여 희박성을 촉진한다.
• gTV 정규화가 다중핵심 회귀에서 타당한지 정당화하기 위해 바나흐 공간 프레임워크를 개발한다.
• 해가 적응형 위치를 가진 커널 전개로 표현될 수 있음을 증명하는 표현 정리를 유도한다.
• 커널 계수에 $Ø1$ 벌점을 부과하여 희박성과 중복 감소를 강제한다.
• 새로운 프레임워크 내에서 희박하고 구조화된 해를 달성하기 위해 수정된 일반화된 라소의 버전을 사용한다.
• 유연한 커널 배치를 允허하면서도 계수 벡터의 희박성을 강제하기 위해 gTV 노름을 적용한다.

실험 결과

연구 질문

• RQ1 일반화된 총변동성 노름이 다중핵심 회귀에서 희박성을 유도하는 데 사용될 수 있는가?
• RQ2 gTV 정규화는 다중핵심 회귀에서 해의 구조에 어떤 영향을 미치는가?
• RQ3 MKR 설정에서 gTV 정규화 하에 표현 정리의 형태는 어떠한가?
• RQ4 제안된 프레임워크는 표준 커널 방법과 비교해 희박성 및 중복 제어 측면에서 어떻게 다를까?
• RQ5 다중핵심 학습에서 gTV 노름은 바나흐 공간 프레임워크 내에서 정당화될 수 있는가?

주요 결과

• gTV 정규화를 통한 MKR에 대한 표현 정리는 해가 적응형 위치를 가진 커널들의 선형 조합임을 보여준다.
• gTV 노름은 커널 계수에 $Ø1$-벌점을 적용하여 희박성을 강제하고 중복을 줄인다.
• 해의 구조는 바나흐 공간 프레임워크에 의해 특징지어지며, 고전적 RKHS 이론을 확장한다.
• 이 방법은 새로운 프레임워크 하에서 이론적으로 정당화된 수정된 일반화된 라소를 가능하게 한다.
• gTV의 희박성 촉진 효과는 다중핵심 회귀에서 더 해석 가능하고 효율적인 커널 모델을 가능하게 한다.
• 이론적 결과는 개선된 일반화 잠재력과 함께 희박하고 구조화된 커널 학습의 기초를 마련한다.