[논문 리뷰] High-Dimensional Non-Linear Variable Selection through Hierarchical Kernel Learning

Francis Bach|ArXiv.org|2009. 09. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 82인용 수 56

한 줄 요약

이 논문은 방향 비순환 그래프(DAG)에 지수 수준의 기저 커널을 통합하여 고차원 비선형 변수 선택을 위한 계층적 커널 학습 프레임워크를 제안한다. 이는 다항 시간 내에 밀도 유도 최적화를 가능하게 하며, 표본 크기와 함께 지수적으로 증가하는 무의미한 변수의 수가 존재하더라도 일관된 변수 선택을 달성한다. 이는 시뮬레이션 및 UCI 데이터셋에서 최신 기법들을 능가한다.

ABSTRACT

We consider the problem of high-dimensional non-linear variable selection for supervised learning. Our approach is based on performing linear selection among exponentially many appropriately defined positive definite kernels that characterize non-linear interactions between the original variables. To select efficiently from these many kernels, we use the natural hierarchical structure of the problem to extend the multiple kernel learning framework to kernels that can be embedded in a directed acyclic graph; we show that it is then possible to perform kernel selection through a graph-adapted sparsity-inducing norm, in polynomial time in the number of selected kernels. Moreover, we study the consistency of variable selection in high-dimensional settings, showing that under certain assumptions, our regularization framework allows a number of irrelevant variables which is exponential in the number of observations. Our simulations on synthetic datasets and datasets from the UCI repository show state-of-the-art predictive performance for non-linear regression problems.

연구 동기 및 목표

• 입력 변수 간의 복잡한 상호작용으로 인해 기존 선형 방법이 실패하는 고차원 환경에서 비선형 변수 선택의 과제를 해결한다.
• 지수 수준의 비선형 커널 중에서 선택하는 데 있어 계산적으로 비가능한 문제를 해결하기 위해 자연스러운 계층적 구조를 활용한다.
• DAG에 일치하는 유효한 희소성 패턴에 국한되는 그래프 적응형 노름을 기반으로 한 희소성 유도 정규화 프레임워크를 개발한다.
• 표본 수와 함께 무의미한 변수의 수가 지수적으로 증가하는 고차원 점근적 조건 하에서 변수 선택의 이론적 일관성을 확립한다.
• 합성 및 UCI 기준 데이터셋을 통한 광범위한 시뮬레이션을 통해 비선형 회귀 과제에서 최신 기술 수준의 예측 성능을 입증한다.

제안 방법

• 입력 변수의 부분집합 또는 {0,…,q}^p 내의 다차원 색인으로 인덱싱된 정재성 양의 기저 커널의 합을 사용해 비선형 상호작용을 모델링한다.
• 변수 간 상호작용의 계층적 관계를 활용하기 위해 기저 커널 집합을 방향 비순환 그래프(DAG)에 통합한다.
• DAG의 부모-자식 관계에 대한 ℓ2-노름의 조합에서 유도된 그래프 적응형 희소성 유도 노름을 도입하여 커널 선택을 제어한다.
• DAG 기반의 커널 공간에서 희소 선택을 촉진하는 정규화 항을 포함한 다중 커널 학습 문제로 최적화 문제를 공식화한다.
• 모든 가능한 커널 조합을 무차별적으로 나열하는 것을 피하기 위해 DAG의 구조를 활용해 다항 시간 알고리즘을 설계하여 커널 선택을 수행한다.
• 표현 정리와 힐버트 공간 정규화를 사용해 암묵적 특징 공간에서 작업하면서도 계산 가능성을 유지한다.

실험 결과

연구 질문

• RQ1 입력 차원에 대해 지수적으로 증가하는 잠재적 상호작용이 존재하는 고차원 환경에서 비선형 변수 선택을 효율적으로 수행할 수 있는가?
• RQ2 비선형 커널 공간을 어떻게 구조화할 수 있을까? 이는 다항 시간 내의 선택을 가능하게 하면서도 통계적 일관성을 유지한다.
• RQ3 관측 수와 함께 지수적으로 증가하는 무의미한 변수의 수가 존재할 때도 일관된 변수 선택을 가능하게 하는 정규화 프레임워크는 무엇인가?
• RQ4 DAG 기반 커널 임bedding은 표준 다중 커널 학습 대비 계산 효율성과 예측 성능을 향상시킬 수 있는가?
• RQ5 제안된 방법은 과도한 오버피팅 없이 고차원 환경에서 복잡한 고차원 상호작용에 얼마나 잘 적응할 수 있는가?

주요 결과

• DAG의 구조를 활용함으로써 지수 수준의 기저 커널 중에서 다항 시간 내에 커널 선택을 수행할 수 있으며, 계산적으로 비가능한 나열을 피할 수 있다.
• 적절한 가정 하에서 이론적 분석 결과, 무의미한 변수의 수가 관측 수와 함께 지수적으로 증가하더라도 일관된 변수 선택을 달성함을 보여준다.
• 이 프레임워크는 차수 p까지의 비선형 상호작용을 포함하여 p개 변수의 모든 가능한 부분집합을 선택할 수 있어 보편 일관성을 확보하는 데 필수적이다.
• 합성 및 UCI 데이터셋에서의 실험 결과, 비선형 회귀 과제에서 최신 기술 수준의 예측 성능을 입증한다.
• 희소성 유도 정규화와 고차원 암묵적 특징 공간에서의 커널 기반 학습을 결합함으로써 강력한 일반화 성능을 달성한다.
• 추정 오차와 고유값 안정성에 대한 이론적 경계를 도출하였으며, 이는 모델 오Specification 및 유한 표본 효과에 대해서도 방법이 강인함을 보여준다.