[논문 리뷰] How to Scale Up Kernel Methods to Be As Good As Deep Neural Nets

Zhiyun Lu, Avner May외 9명|arXiv (Cornell University)|2014. 11. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 45

한 줄 요약

이 논문은 랜덤 특징 근사와 효율적 최적화를 활용하여 대규모 이미지 및 음성 인식 작업에서 딥 뉴럴 네트워크(DNNs)와 경쟁하거나 이를 초월하는 확장 가능한 커널 방법을 제안한다. 수억 개의 파라미터를 가진 모델을 훈련하고, 특히 곱셈 조합을 통한 다중 커널 조합을 통해 상태최저 성능을 달성하였으며, DNNs보다 훨씬 적은 초모수와 낮은 튜닝 비용을 요구한다.

ABSTRACT

The computational complexity of kernel methods has often been a major barrier for applying them to large-scale learning problems. We argue that this barrier can be effectively overcome. In particular, we develop methods to scale up kernel models to successfully tackle large-scale learning problems that are so far only approachable by deep learning architectures. Based on the seminal work by Rahimi and Recht on approximating kernel functions with features derived from random projections, we advance the state-of-the-art by proposing methods that can efficiently train models with hundreds of millions of parameters, and learn optimal representations from multiple kernels. We conduct extensive empirical studies on problems from image recognition and automatic speech recognition, and show that the performance of our kernel models matches that of well-engineered deep neural nets (DNNs). To the best of our knowledge, this is the first time that a direct comparison between these two methods on large-scale problems is reported. Our kernel methods have several appealing properties: training with convex optimization, cost for training a single model comparable to DNNs, and significantly reduced total cost due to fewer hyperparameters to tune for model selection. Our contrastive study between these two very different but equally competitive models sheds light on fundamental questions such as how to learn good representations.

연구 동기 및 목표

• 대규모 학습에서 커널 방법의 계산적 병목 현상을 해결하기 위해 수억 개의 파라미터를 가진 효율적 훈련을 가능하게 하기 위해.
• 컴퓨터 비전 및 음성 인식 분야의 실제 대규모 벤치마크에서 커널 방법이 딥 뉴럴 네트워크(DNNs)와 유사한 성능을 달성할 수 있는지 조사하기 위해.
• 커널 모델의 단순성과 볼록성에 기반해 DNNs에 내재된 초모수 튜닝 부담을 줄이기 위해.
• 커널 모델과 DNN 모델이 서로 보완적인 표현을 학습하는지 비교 및 조합을 통해 평가하기 위해.
• 특히 데이터가 적거나 지식이 부족한 설정에서 DNNs의 실용적이고 재현 가능하며 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• 논문 [38]에서 제안한 랜덤 특징 근사 방법을 변형하여 랜덤 프로젝션을 활용해 커널 함수를 효율적으로 표현함으로써 확장 가능한 훈련을 가능하게 함.
• 수억 개의 파라미터를 가진 대규모 커널 모델을 훈련하기 위해 볼록 최적화를 활용하여 수렴성과 안정성을 보장함.
• 다양한 커널 함수의 곱셈 조합을 도입하여 덧셈 조합보다 더 풍부하고 표현력 있는 특징 표현을 학습할 수 있도록 함.
• 커널 모델과 DNN 모델 간의 학습된 데이터 표현을 비교하기 위해 t-SNE 시각화를 활용함으로써 특징 공간 내의 구조적 차이를 평가함.
• 커널 모델과 DNN 모델의 사전-소프트맥스 로짓을 가중 평균하여 앙상블 시스템을 구성하고 성능 향상을 평가함.
• DNN 모델의 성능을 비교 실험에서 최고의 커널 모델 수준에 맞추기 위해 사전 훈련과 피니어튜닝을 포함한 이단계 훈련 프로토콜을 적용함.

실험 결과

연구 질문

• RQ1 커널 방법은 대규모 이미지 및 음성 인식 작업에서 딥 뉴럴 네트워크의 성능을 따라잡을 수 있는가?
• RQ2 표준 벤치마크에서 대규모 커널 모델의 성능는 잘 최적화된 DNNs와 비교해 어떻게 되는가?
• RQ3 비교 및 앙상블 성능를 통해 나타나는 시각화 결과에 따르면, 커널 모델과 DNN 모델은 유사한가 아니면 상호보완적인 데이터 표현을 학습하는가?
• RQ4 곱셈 조합과 덧셈 조합의 성능 및 확장성에 미치는 영향은 무엇인가?
• RQ5 새로운 문제 설정이나 지식이 부족한 환경에서 커널 방법은 DNNs에 비해 초모수 튜닝 비용을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 대규모 커널 모델은 MNIST-6.7M, CIFAR-10, Bengali, Cantonese 등 네 가지 대규모 벤치마크에서 잘 최적화된 DNNs와 동등하거나 더 뛰어난 성능을 달성하였다.
• MNIST-6.7M에서 최고의 DNN와 조합된 커널 모델은 테스트 오차 0.61%를 기록하여 최고의 단일 모델(0.69%)을 초월하였으며, 이는 상호보완적 학습을 시사한다.
• 곱셈 커널 조합이 항상 덧셈 조합보다 우수했으며, 고차원 특징 공간에서 더 효과적인 표현 학습을 가능케 하였다.
• DNNs의 수백 또는 수천 개의 초모수에 비해 커널 모델은 커널 대역폭과 학습률 둘 뿐이었으며, 모델 선택 비용을 크게 줄였다.
• t-SNE 시각화 결과 커널 모델과 DNN 모델 간의 상대적 클러스터 배치가 다름을 확인하여, 두 모델이 서로 다른 비선형 데이터 표현을 학습하고 있음을 시사한다.
• 최고의 커널 모델과 DNN 모델을 앙상블하여 모든 데이터셋에서 일관된 성능 향상을 기록하였으며, 이는 두 가지 접근법이 데이터로부터 서로 다른 보완 지식를 캡처하고 있음을 확인한다.