[논문 리뷰] End-to-End Kernel Learning with Supervised Convolutional Kernel Networks

Julien Mairal|arXiv (Cornell University)|2016. 05. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 7

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 역전파를 통해 데이터에 따라 변하는 커널을 엔드 투 엔드로 학습하는 새로운 딥러닝 프레임워크인 감독형 컨volution 커널 네트워크(SCKNs)를 소개한다. 각 레이어에서 감독형 손실을 사용해 RKHS 내 선형 부분공간을 최적화함으로써 SCKNs는 이미지 분류(10.20% 오차, CIFAR-10; 2.04% 오차, SVHN)에서 경쟁력 있는 성능을 달성하고, 데이터 증강 없이도 이미지 슈퍼레졸루션 분야에서 최신 기술을 초월하는 성과를 내었다.

ABSTRACT

In this paper, we introduce a new image representation based on a multilayer kernel machine. Unlike traditional kernel methods where data representation is decoupled from the prediction task, we learn how to shape the kernel with supervision. We proceed by first proposing improvements of the recently-introduced convolutional kernel networks (CKNs) in the context of unsupervised learning; then, we derive backpropagation rules to take advantage of labeled training data. The resulting model is a new type of convolutional neural network, where optimizing the filters at each layer is equivalent to learning a linear subspace in a reproducing kernel Hilbert space (RKHS). We show that our method achieves reasonably competitive performance for image classification on some standard "deep learning" datasets such as CIFAR-10 and SVHN, and also for image super-resolution, demonstrating the applicability of our approach to a large variety of image-related tasks.

연구 동기 및 목표

• 기존 커널 방법과 딥러닝 간 격차를 해소하기 위해 데이터에 적응하는 커널의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 기존 커널 방법이 표현 학습과 예측을 분리하는 한계를 극복하기 위해, RKHS 내 특징 부분공간을 함께 최적화함으로써.
• 데이터 증강이나 모델 평균화 없이도 표준 딥러닝 벤치마크인 CIFAR-10 및 SVHN에서 경쟁 가능한 성능을 낼 수 있음을 보여주기 위해.
• 비지도 학습에서의 컨volution 커널 네트워크(CKNs)를 역전파와 판별적 부분공간 학습을 통해 지도 학습으로 확장하기 위해.
• 다양한 이미지 작업, 특히 이미지 슈퍼레졸루션을 포함한 분류 이외의 과제들에 대해 프레임워크의 일반화 능력을 검증하기 위해.

제안 방법

• 각 레이어가 재생 커널 힐버트 공간(RKHS) 내 선형 부분공간을 학습하는 새로운 아키텍처를 제안하며, 이는 역전파를 통해 최적화되는 필터로 매개변수화된다.
• 분류 및 회귀를 위한 부분공간을 함께 최적화하는 미분 가능한 손실 함수를 도입함으로써 비지도 CKNs를 지도 학습으로 확장한다.
• 무한차원 RKHS 표현을 계산적으로 처리 가능하게 하기 위해 커널 근사 기법(예: 랜덤 푸리에 특징)을 사용한다.
• 커널 매개변수에 대해 역전파 규칙를 적용하여, 경사 하강법으로 전체 네트워크를 엔드 투 엔드로 훈련할 수 있도록 한다.
• 두 단계 파이프라인을 적용한다: 커널 부분공간의 비지도 사전 훈련 후 레이블이 있는 데이터로의 토닝.
• 슈퍼레졸루션에 대해서는 9층의 SCKN(각 레이어당 128개 필터)과 선형 출력 헤드를 사용해 다변량 회귀로 문제를 공식화한다.

실험 결과

연구 질문

• RQ1 커널 방법을 커널 표현과 예측 과제를 함께 최적화함으로써 엔드 투 엔드 학습에 적응시킬 수 있는가?
• RQ2 역전파를 통해 RKHS 내 선형 부분공간을 학습함으로써 표준 이미지 분류 벤치마크에서 경쟁 가능한 성능를 낼 수 있는가?
• RQ3 제안된 SCKN 프레임워크는 분류 이외의 다른 이미지 과제, 예를 들어 이미지 슈퍼레졸루션과 같은 과제로 일반화될 수 있는가?
• RQ4 데이터 증강 없이 SCKNs의 성능가 표준 CNNs의 정확도 및 내성에 비해 어떻게 비교되는가?
• RQ5 커널 부분공간의 비지도 사전 훈련이 후속 지도 학습 성능을 향상시킬 수 있는가?

주요 결과

• SCKNs는 데이터 증강이나 모델 평균화 없이도 CIFAR-10에서 10.20%의 테스트 오차, SVHN에서 2.04%의 오차를 기록하여 표준 벤치마크에서 강력한 성능을 보였다.
• 이미지 슈퍼레졸루션 분야에서 최근의 CNN 기반 접근법을 능가하며, Set5에서 x2 업스케일링 시 37.07 dB PSNR, Kodim에서 x3 업스케일링 시 29.88 dB PSNR를 기록했다.
• 16,384개 필터를 가진 2층 SCKN은 비지도 설정에서 CIFAR-10에서 14.2% 오차를 기록했으며, 원래 CKNs를 초월했다.
• 각 레이어당 필터 수를 128로 줄였을 때 CIFAR-10에서 11.95% 오차, SVHN에서 2.15% 오차를 기록하여 모델 복잡도에 대해 뛰어난 내성성을 보였다.
• 비지도 버전의 SCKN은 원래 CKNs보다 훈련 속도가 100배 빠르면서도 더 높은 정확도(19.3% 대 21.7% 오차, CIFAR-10 기준)를 달성했다.
• 이 방법은 역문제에 대해서도 잘 일반화되며, 다양한 표준 데이터셋에서 최신 기술의 CNN 기반 슈퍼레졸루션 모델을 초월하는 성능을 보였다.