[논문 리뷰] Stacked Kernel Network

Shuai Zhang, Jianxin Li외 5명|arXiv (Cornell University)|2017. 11. 25.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 8

한 줄 요약

이 논문은 반복적으로 복수의 Reproducing Kernel Hilbert Space (RKHS) 함수를 쌓고 선형 투영을 번갈아 적용함으로써 계층적인 비선형 표현을 학습하는 딥 커널 방법인 Stacked Kernel Network (SKN)을 제안한다. SKN은 비모수적, 모수적, 랜덤 푸리에 특징(RFF)의 세 가지 표현을 사용하여 무한차원 RKHS 함수를 다룰 수 있도록 하여, 여러 데이터셋에서 최신 기준 성능을 달성하며, CIFAR-10에서 CNN보다 뛰어난 정확도를 기록했다.

ABSTRACT

Kernel methods are powerful tools to capture nonlinear patterns behind data. They implicitly learn high (even infinite) dimensional nonlinear features in the Reproducing Kernel Hilbert Space (RKHS) while making the computation tractable by leveraging the kernel trick. Classic kernel methods learn a single layer of nonlinear features, whose representational power may be limited. Motivated by recent success of deep neural networks (DNNs) that learn multi-layer hierarchical representations, we propose a Stacked Kernel Network (SKN) that learns a hierarchy of RKHS-based nonlinear features. SKN interleaves several layers of nonlinear transformations (from a linear space to a RKHS) and linear transformations (from a RKHS to a linear space). Similar to DNNs, a SKN is composed of multiple layers of hidden units, but each parameterized by a RKHS function rather than a finite-dimensional vector. We propose three ways to represent the RKHS functions in SKN: (1)nonparametric representation, (2)parametric representation and (3)random Fourier feature representation. Furthermore, we expand SKN into CNN architecture called Stacked Kernel Convolutional Network (SKCN). SKCN learning a hierarchy of RKHS-based nonlinear features by convolutional operation with each filter also parameterized by a RKHS function rather than a finite-dimensional matrix in CNN, which is suitable for image inputs. Experiments on various datasets demonstrate the effectiveness of SKN and SKCN, which outperform the competitive methods.

연구 동기 및 목표

• 단일 레이어 커널 방법의 표현 능력에 한계가 있음을 해결하기 위해 깊고 계층적인 특징 학습을 가능하게 하는 것.
• 계산 가능성을 유지하면서도 복수의 비선형 변환을 RKHS에 쌓는 프레임워크를 개발하는 것.
• RKHS 함수의 세 가지 별개의 표현—비모수적, 모수적, 랜덤 푸리에 특징—을 효과적으로 학습하기 위한 탐색.
• 시각 인식 작업을 위한 계층적 특징 학습이 가능한 컨볼루션 아키텍처인 SKCN으로 SKN을 확장하는 것.
• 다양한 데이터셋에서 경쟁적인 딥 러닝 및 커널 방법과의 실험적 검증을 통한 SKN 및 SKCN의 성능 평가.

제안 방법

• SKN은 L개의 은닉 레이어를 갖는 딥 아키텍처를 구성하며, 각 레이어는 비선형 특징 맵 φ(l)와 RKHS에서 유한차원 공간으로의 선형 투영 W(l)를 연결한다.
• 각 은닉 유닛은 f_k^(l) ∈ H^(l)로 매개변수화되며, f_k^(l)(x) = w_k^T φ^(l)(x)로 계산되며, 커널 기법을 통해 수행된다.
• 세 가지 표현을 제안한다: (1) 표현 정리에 의한 비모수적, (2) 앵커 벡터 a를 사용한 모수적, (3) f(x) = w^T z(x)를 근사하는 랜덤 푸리에 특징(RFF).
• 모델을 훈련하기 위해 역전파를 사용하며, 이는 RKHS 함수의 엔드 투 엔드 학습을 가능하게 한다.
• 유한차원 필터를 RKHS 기반 필터로 대체하여 컨볼루션 변형인 Stacked Kernel Convolutional Network (SKCN)을 도입함으로써, 시각 작업에서 계층적 특징 학습이 가능하도록 한다.
• 커널 함수(예: RBF)를 사용하여 입력을 무한차원 RKHS로 암묵적으로 매핑하며, 선형 투영을 통해 모델 크기를 제어한다.

실험 결과

연구 질문

• RQ1 RKHS 기반의 비선형 특징을 복수의 레이어로 쌓는 것이 단일 레이어 커널 방법을 초월하는 표현 능력을 향상시킬 수 있는가?
• RQ2 무한차원 RKHS 함수를 깊은 신경망 아키텍처에서 효과적으로 매개변수화하고 학습할 수 있는가?
• RQ3 제안된 SKN 아키텍처가 다양한 데이터셋에서 표준 DNN 및 CNN보다 정확도와 일반화 능력 측면에서 뛰어나게 성능을 내는가?
• RQ4 RKHS 함수의 다양한 표현 방식(비모수적, 모수적, RFF)이 SKN의 성능 및 학습 효율성에 어떤 영향을 미치는가?
• RQ5 SKN 프레임워크를 성공적으로 컨볼루션 아키텍처로 확장하여 시각 인식 작업에 적용할 수 있는가?

주요 결과

• RFF-SKCN은 드롭아웃을 사용할 경우 79.06%의 테스트 정확도를 기록했으며, 사용하지 않을 경우 77.77%를 달성하여, 동일한 레이어 수를 가진 기준 CNN(74.79% 및 73.24%)을 뛰어넘었다.
• 2개 이상의 은닉 레이어를 가진 SKN은 항상 단일 레이어 SKN보다 우수한 성능을 보였으며, 깊이 있는 계층적 특징 학습의 유용성을 입증했다.
• 은닉 유닛 수(K)가 10에서 2500까지 변화하더라도 SKN은 안정적인 성능을 보였으며, 이는 DNN가 큰 K에 매우 민감하고 과적합 경향이 있는 것과 대비된다.
• RFF-SKCN은 CNN보다 더 높은 정확도를 기록했지만, 더 큰 매개변수 행렬로 인해 반복당 처리 시간이 약 두 배로 증가하여 표현력과 효율성 사이의 상충 관계를 보였다.
• 비모수적 및 모수적 RKHS 함수 표현 방식은 효과적인 학습을 가능하게 했으며, RFF는 대규모 작업에 대한 확장 가능한 근사 방법을 제공했다.
• 실험 결과, CNN의 유한차원 필터보다 무한차원 RKHS 함수가 더 표현력이 뛰어나다는 것이 확인되었으며, 이는 SKCN에서의 아키텍처 혁신을 정당화한다.