[논문 리뷰] Consistency of the group Lasso and multiple kernel learning

Francis Bach|ArXiv.org|2007. 07. 23.

Statistical Methods and Inference참고 문헌 49인용 수 704

한 줄 요약

이 논문은 고차원 회귀에서 그룹 Lasso와 다중 커널 학습(MKL)에 대한 이론적 일致성 조건을 수립하며, 모형 오특사용의 경우를 포함한 실용적 가정 하에 희박성 패턴이 일관되게 복원될 수 있음을 보여준다. 이를 통해 공분산 연산자와 함수해석학을 활용하여 유한차원 Lasso 일관성 결과를 군화 및 무한차원 커널 설정으로 확장한다.

ABSTRACT

We consider the least-square regression problem with regularization by a block 1-norm, i.e., a sum of Euclidean norms over spaces of dimensions larger than one. This problem, referred to as the group Lasso, extends the usual regularization by the 1-norm where all spaces have dimension one, where it is commonly referred to as the Lasso. In this paper, we study the asymptotic model consistency of the group Lasso. We derive necessary and sufficient conditions for the consistency of group Lasso under practical assumptions, such as model misspecification. When the linear predictors and Euclidean norms are replaced by functions and reproducing kernel Hilbert norms, the problem is usually referred to as multiple kernel learning and is commonly used for learning from heterogeneous data sources and for non linear variable selection. Using tools from functional analysis, and in particular covariance operators, we extend the consistency results to this infinite dimensional case and also propose an adaptive scheme to obtain a consistent model estimate, even when the necessary condition required for the non adaptive scheme is not satisfied.

연구 동기 및 목표

• 실용적 가정, 특히 모형 오특사용을 포함한 상황에서 그룹 Lasso의 모형 일관성에 필요한 필수 및 충분조건을 수립하기 위해.
• 재생 커널 힐버트 공간을 활용하여 유한차원 그룹 Lasso의 일관성 결과를 무한차원 RKHS 설정으로 확장하기 위해.
• 기본 조건이 만족되지 않을 경우에도 일관성을 보장하는 적응형 기법을 제안하기 위해.
• 이질적 데이터 융합 및 커널 학습에서의 군 선택 및 비선형 변수 선택에 대한 이론적 기반을 제공하기 위해.
• 특히 입력 공간에서의 공분산 연산자를 활용한 기능해석학을 통해 그룹 Lasso와 MKL의 분석을 통합하기 위해.

제안 방법

• 이중 공간 계산에 의존하지 않고, 원시 공간에서 공분산 연산자를 사용하여 그룹 Lasso와 MKL를 분석한다.
• 기능해석학 도구를 적용하여 유한차원 그룹 Lasso 일관성 결과를 무한차원 RKHS 설정으로 확장한다.
• 공분산 연산자의 스펙트럼 성질과 군 구조에 기반한 일관성에 필요한 필수 및 충분조건을 유도한다.
• 기본 조건이 실패할 경우에도 일관성을 보장하기 위해 데이터에 의존하는 가중치를 갖는 적응형 그룹 Lasso 기법을 도입한다.
• L^2(p_X)에서의 정규직교 기저와 공분산 연산자 Σ_{XX}의 고유분해를 활용하여 해공간을 특성화한다.
• 헤르미트 다항식 전개와 가우시안 커널 고유기저를 활용하여 가우시안 케이스에서 기대값을 계산하고 조건을 해석적으로 검증한다.

실험 결과

연구 질문

• RQ1 설계 행렬과 군에 대한 특정 상관관계 조건이 만족될 경우에만 그룹 Lasso가 회귀 계수의 진짜 희박성 패턴을 일관되게 복원할 수 있는가?
• RQ2 모형 오특사용이 그룹 Lasso의 일관성에 미치는 영향은 무엇이며, 여전히 일관성은 달성될 수 있는가?
• RQ3 그룹 Lasso의 일관성 결과는 다중 커널 학습의 무한차원 설정으로 확장될 수 있는가?
• RQ4 기본 그룹 Lasso 조건이 만족되지 않을 경우, 다중 커널 학습에서 일관성을 확보하기 위한 조건은 무엇인가?
• RQ5 약한 또는 위반된 가정 하에서 적응형 기법은 다중 커널 학습의 일관성에 어떻게 기여하는가?

주요 결과

• 그룹 Lasso는 설계 행렬과 군에 대한 특정 상관관계 조건이 만족될 경우에만 진짜 희박성 패턴을 일관되게 복원할 수 있으며, 이는 모형 오특사용의 경우에도 성립한다.
• 군 내에서 강한 상관관계가 존재할 경우 기존 그룹 Lasso는 정확한 희박성 패턴을 복원하지 못할 수 있으나, 데이터에 의존하는 가중치를 갖는 적응형 버전은 일관성을 회복한다.
• 다중 커널 학습에서는 진짜 함수가 커널 함수의 스레드에 포함되어 있고, 커널 조합이 공분산 연산자의 스펙트럼 성질과 연결된 Representer 조건을 만족할 경우 일관성이 달성된다.
• 논문은 그룹 Lasso가 미약한 가정 하에 L^2(p_X)에서 최적의 선형 예측자로 수렴함을 증명하며, 계수 벡터와 희박성 패턴 모두에서 수렴한다.
• 가우시안 커널 케이스에서는 명시적 고유기저와 허르미트 다항식 전개를 통해 몬테카를로 샘플링 없이도 일관성 조건을 해석적으로 검증할 수 있다.
• 적응형 기법은 기본 조건이 위반된 경우에도 초기 추정치에 기반한 군 노름 재가중치를 통해 일관성을 보장한다.