[논문 리뷰] Exploring Large Feature Spaces with Hierarchical Multiple Kernel Learning

Francis Bach|ArXiv.org|2008. 09. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 175

한 줄 요약

이 논문은 기저 커널을 정렬된 방향 비순환 그래프(DAG)로 구성함으로써 큰 구조적 특징 공간에서 효율적인 희소성 유도 정규화를 가능하게 하는 계층적 다중 커널 학습 프레임워크를 제안한다. 다항 시간 계산이 가능하고, 특히 비선형 변수 선택에 대해 합성 및 UCI 데이터셋에서 최신 기술 수준의 예측 성능을 보여준다.

ABSTRACT

For supervised and unsupervised learning, positive definite kernels allow to use large and potentially infinite dimensional feature spaces with a computational cost that only depends on the number of observations. This is usually done through the penalization of predictor functions by Euclidean or Hilbertian norms. In this paper, we explore penalizing by sparsity-inducing norms such as the l1-norm or the block l1-norm. We assume that the kernel decomposes into a large sum of individual basis kernels which can be embedded in a directed acyclic graph; we show that it is then possible to perform kernel selection through a hierarchical multiple kernel learning framework, in polynomial time in the number of selected kernels. This framework is naturally applied to non linear variable selection; our extensive simulations on synthetic datasets and datasets from the UCI repository show that efficiently exploring the large feature space through sparsity-inducing norms leads to state-of-the-art predictive performance.

연구 동기 및 목표

• 입력 차원에 대해 기저 커널 수가 지수적으로 증가하는 큰, 가능하면 무한차원의 특징 공간에서 커널 선택을 효율적으로 수행하는 데 도전하는 것.
• 입력 차원에 대해 기저 커널 수가 지수적으로 증가하는 큰 공간에서 직접적인 다중 커널 학습이 계산적으로 불가능한 문제를, 방향 비순환 그래프(DAG)를 통한 계층적 구조를 활용하여 해결하는 것.
• DAG로 구조화된 커널 분해 내에서 블록 ℓ¹-노름 정규화를 도입하여 관련 특징 부분공간의 자동 선택을 가능하게 하는 희소성 유도 정규화 프레임워크를 제안하는 것.
• 제안된 프레임워크 하에서 모델 선택에 대한 이론적 일관성 조건을 확립하여, 관련 변수의 볼륨을 일관되게 추정함을 보여주는 것.
• 합성 및 실제 데이터셋에서 표준 ℓ²-정규화와 기준 다중 커널 학습 대비 우수한 예측 성능을 경험적으로 입증하는 것.

제안 방법

• 양의 정부호 커널을 기저 커널의 합으로 분해하며, 각 기저 커널은 방향 비순환 그래프(DAG)의 노드에 할당되어 특징 공간에 계층적 구조를 부여한다.
• DAG의 부모-자식 관계에 의해 정의된 그룹 내에서 기저 커널의 블록 ℓ¹-노름 정규화를 적용하여 그룹 수준의 희소성을 유도한다.
• DAG의 구조를 활용하여 선택된 커널 수에 대해 다항 시간 내에 커널 선택을 수행할 수 있는 최적화 알고리즘을 설계하여 지수적 복잡도를 피한다.
• 예측 함수를 커널 전개의 형태로 표현하기 위해 리프레젠터 정리를 적용함으로써, 이중 공간에서 구조적 희소성과 함께 최적화 문제를 해결할 수 있도록 한다.
• 계층적 희소성 패턴을 강제하는 제약 조건을 포함한 볼록 프로그래밍으로 최적화 문제를 설정하여, 부모 커널이 선택된 경우에만 자식 커널이 선택될 수 있도록 보장한다.
• 그룹 구조 정규화의 쌍대 노름을 활용하여 일관성 조건을 유도하며, DAG의 구조를 이용해 쌍대 노름을 유계로 제한하고 모델 선택의 신뢰도를 평가한다.

실험 결과

연구 질문

• RQ1 커널 분해로 정의된 큰, 구조적 특징 공간 내에서 희소성 유도 정규화(예: ℓ¹ 또는 블록 ℓ¹)를 효과적으로 적용할 수 있는가?
• RQ2 기저 커널 수가 입력 차원에 대해 지수적으로 증가하는 경우, DAG의 구조가 제공된다면 다항 시간 내에 커널 선택이 가능한가?
• RQ3 제안된 계층적 다중 커널 학습 프레임워크는 표준 ℓ²-정규화 및 비계층적 다중 커널 학습 대비 향상된 예측 성능를 보이는가?
• RQ4 특히 관련 특징 부분공간의 선택과 관련하여, 제안된 프레임워크에서 모델 일관성에 필요한 필수 및 충분 조건는 무엇인가?
• RQ5 특히 복잡한 특징 상호작용을 포함한 고차원 설정에서, 이 프레임워크는 비선형 변수 선택에 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 계층적 다중 커널 학습 프레임워크는 기저 커널 총 수가 지수적으로 증가하더라도 선택된 커널 수에 대해 다항 시간 내에 효율적인 커널 선택을 가능하게 한다.
• 합성 데이터셋과 표준 UCI 기준 데이터셋 모두에서 최신 기술 수준의 예측 성능를 달성하며, 항상 ℓ²-정규화 커널 방법과 표준 다중 커널 학습보다 뛰어난 성능를 보여준다.
• 이론적 분석 결과, 이 프레임워크는 관련 변수의 볼륨을 일관되게 추정함을 보여주며, 적절한 조건 하에서 신호를 설명하는 최소한의 특징 그룹 집합을 신뢰성 있게 식별함을 의미한다.
• 잔차 벡터의 쌍대 노름이 1 이하로 유계일 경우 모델 일관성이 보장되며, 이 쌍대 노름에 대한 명시적 하한 및 상한이 DAG의 구조를 활용해 유도되었다.
• 기저 커널을 방향 격자(특정 유형의 DAG)로 정렬함으로써 이 프레임워크는 비선형 변수 선택을 자연스럽게 지원하며, 복잡한 계층적 특징 상호작용의 선택이 가능하다.
• 경험적 결과는 이 방법이 항상 ℓ²-정규화와 경쟁 가능하며, 특히 진짜 신호가 희소한 고차원 설정에서 성능 향상이 뚜렷한 것으로 확인되었다.