[논문 리뷰] Optimizing Kernel Machines using Deep Learning

Huan Song, Jayaraman J. Thiagarajan외 2명|arXiv (Cornell University)|2017. 11. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 3

한 줄 요약

이 논문은 뉴스트öm 근사에 의해 유도된 앙상블 임bedding에서 작업별 표현을 학습함으로써 커널 머신을 최적화하기 위한 DKMO(Depth Kernel Machine Optimization) 프레임워크를 제안한다. 이는 커널 드롭아웃 정규화와 함께 엔드 투 엔드 학습을 가능하게 하며, 제한된 데이터 세트에서 다수의 커널 학습에서 최신 기술 수준의 성능을 달성한다. 기존의 SVM 및 MKL 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Building highly non-linear and non-parametric models is central to several state-of-the-art machine learning systems. Kernel methods form an important class of techniques that induce a reproducing kernel Hilbert space (RKHS) for inferring non-linear models through the construction of similarity functions from data. These methods are particularly preferred in cases where the training data sizes are limited and when prior knowledge of the data similarities is available. Despite their usefulness, they are limited by the computational complexity and their inability to support end-to-end learning with a task-specific objective. On the other hand, deep neural networks have become the de facto solution for end-to-end inference in several learning paradigms. In this article, we explore the idea of using deep architectures to perform kernel machine optimization, for both computational efficiency and end-to-end inferencing. To this end, we develop the DKMO (Deep Kernel Machine Optimization) framework, that creates an ensemble of dense embeddings using Nystrom kernel approximations and utilizes deep learning to generate task-specific representations through the fusion of the embeddings. Intuitively, the filters of the network are trained to fuse information from an ensemble of linear subspaces in the RKHS. Furthermore, we introduce the kernel dropout regularization to enable improved training convergence. Finally, we extend this framework to the multiple kernel case, by coupling a global fusion layer with pre-trained deep kernel machines for each of the constituent kernels. Using case studies with limited training data, and lack of explicit feature sources, we demonstrate the effectiveness of our framework over conventional model inferencing techniques.

연구 동기 및 목표

• 커널 방법의 한계, 즉 높은 계산 비용과 엔드 투 엔드 학습의 부재를 해결하기 위해 표현 학습을 위한 딥 러닝을 통합한다.
• RKHS 내의 다수의 커널 유도 부분공간에서 딥 뉴럴 네트워크를 통해 작업별 표현 학습을 가능하게 한다.
• 커널 드롭아웃 정규화를 도입하여 저데이터 환경에서 모델의 일반화 능력과 수렴 성능을 향상시킨다.
• 기존에 훈련된 딥 커널 머신을 글로벌 융합 레이어와 결합하여 다중 커널 학습에 프레임워크를 확장한다.
• 실제 데이터 세트에서 제한된 훈련 데이터를 가진 과제에서 전통적인 커널 방법과 최신 기술 수준의 MKL 기법보다 뛰어난 성능을 입증한다.

제안 방법

• 커널 그램 행렬의 낮은 랭크 근사를 위해 뉴스트öm 방법을 사용하여 다수의 커널 행렬에서 조밀한 임베딩을 구성한다.
• RKHS 내의 다양한 선형 부분공간에서 유도된 앙상블 조밀 임베딩을 융합함으로써 작업별 표현을 학습하기 위해 딥 뉴럴 네트워크를 활용한다.
• 커널 드롭아웃 정규화를 도입하여 훈련 중에 랜덤하게 커널 부분공간을 마스킹함으로써 일반화 능력을 향상시키고, 커널 융합을 모방한다.
• 각 기본 커널에 대해 사전 훈련된 딥 커널 머신과 글로벌 융합 레이어를 결합하여 다중 커널 학습에 프레임워크를 적용한다.
• RBF, χ², 및 상관계수 기반 커널을 사용하여 다양한 특징 표현을 생성하며, 양의 정부호성을 확보하기 위해 고유값 임계값을 통한 보정을 수행한다.
• 백프로파게이션을 사용하여 네트워크를 엔드 투 엔드로 훈련함으로써 커널 표현과 모델 파라미터의 공동 최적화를 허용한다.

실험 결과

연구 질문

• RQ1 딥 러닝을 사용하여 일반화 능력과 계산 효율성을 향상시키기 위해 커널 머신을 최적화할 수 있는가?
• RQ2 다수의 커널 부분공간에서의 딥 표현 학습을 통해 커널 방법에서 엔드 투 엔드 학습을 어떻게 가능하게 할 수 있는가?
• RQ3 커널 드롭아웃 정규화는 커널 머신 최적화에서 수렴성과 성능을 향상시키는가?
• RQ4 제안된 프레임워크는 제한된 데이터 과제에서 기존 커널 방법과 최신 기술 수준의 다중 커널 학습 기법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 딥 뉴럴 네트워크를 사용한 다수의 커널 표현 융합은 분류 정확도 향상과 클래스 간 분리 능력을 얼마나 효과적으로 향상시키는가?

주요 결과

• M-DKMO 프레임워크는 USC-HAD 데이터셋에서 90.4%의 정확도를 달성하여 균일한 커널 융합 기반선(89.0%)과 최신 기술 수준의 UFO-MKL(87.1%)을 뛰어넘었다.
• 통계 특징에서는 커널 SVM보다 4.5% 향상되었고, 형태 특징에서는 3.5%, 상관계수 특징에서는 4.6% 향상되어 모든 특징 유형에서 일관된 성과 향상을 보였다.
• FCN 모델은 형태 및 상관계수 특징에서 성능이 열악하여 전체 융합 성능를 떨어뜨렸지만, M-DKMO는 모든 특징 소스에서 뛰어난 일관성 있는 향상을 유지했다.
• t-SNE 시각화 결과, M-DKMO는 Sitting, Standing, Elevator Up, Elevator Down와 같은 도전적인 클래스에서 개별 커널보다 뛰어난 클래스 간 분리 능력을 확보했다.
• 커널 드롭아웃 정규화는 훈련 수렴을 향상시키며, 상호보완적인 부분공간의 효과적 융합을 가능하게 하여, 백프로파게이션 기반의 기울기 기반 프레임워크 내에서 MKL 동작을 모방했다.
• 이 프레임워크는 제한된 훈련 데이터와 명시적 특징 소스가 없는 데이터셋에서도 뛰어난 성능을 보이며, 저데이터 환경에서의 유용성을 입증했다.