[논문 리뷰] Deep Kernel Learning via Random Fourier Features

Jiaxuan Xie, Fanghui Liu외 2명|arXiv (Cornell University)|2019. 10. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 11

한 줄 요약

이 논문은 랜덤 푸리에 특징(RFF)을 사용하여 다중 레이어 간 커널의 엔드 투 엔드 훈련을 가능하게 하는 딥 커널 학습 프레임워크인 RFFNet을 제안한다. 이는 커널 방법의 일반화 능력과 딥 네트워크의 표현 능력을 결합한다. RFF의 분포 파라미터를 역전파를 통해 훈련시킴으로써 RFFNet은 소규모, 대규모, 이미지 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 데이터가 적은 환경에서 전통적인 커널 방법과 딥 네트워크를 모두 능가한다.

ABSTRACT

Kernel learning methods are among the most effective learning methods and have been vigorously studied in the past decades. However, when tackling with complicated tasks, classical kernel methods are not flexible or "rich" enough to describe the data and hence could not yield satisfactory performance. In this paper, via Random Fourier Features (RFF), we successfully incorporate the deep architecture into kernel learning, which significantly boosts the flexibility and richness of kernel machines while keeps kernels' advantage of pairwise handling small data. With RFF, we could establish a deep structure and make every kernel in RFF layers could be trained end-to-end. Since RFF with different distributions could represent different kernels, our model has the capability of finding suitable kernels for each layer, which is much more flexible than traditional kernel-based methods where the kernel is pre-selected. This fact also helps yield a more sophisticated kernel cascade connection in the architecture. On small datasets (less than 1000 samples), for which deep learning is generally not suitable due to overfitting, our method achieves superior performance compared to advanced kernel methods. On large-scale datasets, including non-image and image classification tasks, our method also has competitive performance.

연구 동기 및 목표

• 복잡한 비선형 작업에서 얕은 커널 방법의 제한된 표현 능력을 해결하기 위해.
• 기존에 고정되거나 수작업으로 조정되는 커널이었던 것을 고려해 깊이 있는 아키텍처에서 커널 함수를 훈련하는 데 도전하기 위해.
• 랜덤 푸리에 특징을 사용하여 다중 레이어 간 커널 파라미터를 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 딥 러닝이 일반적으로 과적합이 발생하는 소규모 데이터셋에서 일반화 능력을 향상시키기 위해, 커널 방법의 인덕티브 바이어스와 딥 아키텍처의 유연성을 조합하기 위해.
• 스케일러블하고 미분 가능한 커널 학습 프레임워크를 개발하여 각 레이어마다 적합한 커널을 자동으로 발견할 수 있도록 하기 위해.

제안 방법

• RFFNet은 랜덤 푸리에 특징을 사용하여 이동 불변성과 정부정치성의 커널을 근사한다. 이는 확률적 특징 맵 $ \zeta_\omega(\mathbf{u}) = e^{j\omega^T\mathbf{u}} $를 통해 이루어지며, 여기서 $ \omega $는 커널 $ k $ 와 관련된 분포 $ \rho(k) $ 에서 추출된다.
• RFFNet의 각 레이어는 RFF 기반 커널 변환을 적용하여, 역전파를 통해 각 레이어의 $ \rho(k) $ 분포를 학습함으로써 효과적으로 커널 구조를 훈련시킨다.
• 모델은 다수의 RFF 레이어를 스택하여 계층적 특징 학습과 깊은 기능 조합을 통해 복잡한 비선형 커널을 구성한다.
• 커널 근사는 미분 가능하므로, 표준 역전파를 사용해 RFF 파라미터(예: $ \omega $ 의 분포)를 엔드 투 엔드로 최적화할 수 있다.
• 배치 정규화와 최대 풀링 레이어를 이미지 실험에 사용함으로써 소규모 데이터와 대규모 학습 모두를 지원한다.
• 커널 행렬을 명시적으로 계산하지 않고 특징 공간에서 작동함으로써, 깊이 있는 아키텍처에서도 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 랜덤 푸리에 특징을 사용하여 일반화 능력이 향상된, 엔드 투 엔드 훈련이 가능한 딥 커널 네트워크를 구성할 수 있는가?
• RQ2 RFF 주파수의 분포를 훈련 중에 학습시켜 각 레이어마다 최적의 커널 구조를 자동으로 발견할 수 있는가?
• RQ3 소규모, 대규모, 이미지 데이터셋에서 제안된 딥 커널 모델이 기존의 커널 방법과 딥 네트워크와 비교해 성능가능한가?
• RQ4 딥 러닝이 일반적으로 과적합이 발생하는 저데이터 환경에서 모델이 뛰어난 성능을 낼 수 있는가?
• RQ5 각 레이어에서 커널 파라미터를 학습시킬 수 있는 능력이 고정되거나 사전 선택된 커널보다 더 나은 표현 학습을 이끌어내는가?

주요 결과

• 소규모 데이터셋 'monks1'에서 RFFNet은 100%의 테스트 정확도를 달성하여 MLP(99.1%)와 다른 커널 기반 방법들을 능가했다.
• 'monks2'에서 RFFNet은 다음으로 좋은 방법보다 10% 이상 높은 정확도를 기록하여 소규모 데이터, 비선형 환경에서 강력한 성능을 보였다.
• 'fertility' 데이터셋에서 RFFNet은 91.2%의 정확도를 기록했으며, MLP를 능가하고 DKL(GP)에 가까운 성능을 보였다. DKL(GP)는 더 복잡한 아키텍처에 가우시안 프로세스 레이어를 사용한다.
• 'phishing', 'EEG', 'ijcnn1', 'covtype'와 같은 대규모 데이터셋에서 RFFNet은 최신 기술 수준의 성능을 달성했으며, 그 중 세 개에서 1위를 차지했다.
• MNIST에서는 99.1%의 테스트 정확도를, CIFAR-10에서는 84.6%를 기록하여 컴퓨터 비전 전용으로 설계되지 않았음에도 불구하고 이미지 데이터에서 뛰어난 성능을 보였다.
• 모델의 성능은 다양한 데이터 환경에서 뛰어난 안정성을 보였으며, 엔드 투 엔드로 훈련된 RFF 커널이 표현 능력을 크게 향상시키면서도 일반화 능력을 유지함을 보여주었다.