[논문 리뷰] Neural Kernels Without Tangents

Vaishaal Shankar, Alex Chengyu Fang외 5명|arXiv (Cornell University)|2020. 03. 04.

Advanced Neural Network Applications참고 문헌 27인용 수 35

한 줄 요약

논문은 신경망 연산(합성 커널을 구성하는 특징 묶음)을 모방하는 특징 모음에서 합성 커널을 만들고, 비전 및 표 데이터에서 커널 성능을 신경망과 NTK와 비교하여 강한 상관관계와 실용적인 커널 설계 인사이트를 보인다.

ABSTRACT

We investigate the connections between neural networks and simple building blocks in kernel space. In particular, using well established feature space tools such as direct sum, averaging, and moment lifting, we present an algebra for creating "compositional" kernels from bags of features. We show that these operations correspond to many of the building blocks of "neural tangent kernels (NTK)". Experimentally, we show that there is a correlation in test error between neural network architectures and the associated kernels. We construct a simple neural network architecture using only 3x3 convolutions, 2x2 average pooling, ReLU, and optimized with SGD and MSE loss that achieves 96% accuracy on CIFAR10, and whose corresponding compositional kernel achieves 90% accuracy. We also use our constructions to investigate the relative performance of neural networks, NTKs, and compositional kernels in the small dataset regime. In particular, we find that compositional kernels outperform NTKs and neural networks outperform both kernel methods.

연구 동기 및 목표

• 합성 커널을 통해 신경망 아키텍처와 커널 공간 간의 실증적 연관성을 조사한다.
• 특징의 모음(bags of features)으로부터 표현력이 높은 커널을 구축하기 위해 연결(concatenation), 다운샘플링(downsampling), 임베딩(embedding) 등의 특징 공간 연산 집합을 개발한다.
• 랜덤 피처 근사 없이 데이터를 직접 사용하여 이 합성 커널을 계산한다.
• CIFAR-10, CIFAR-100, MNIST, CIFAR-10.1, 및 90개의 UCI 데이터셋에서 신경망, NTK, 합성 커널의 성능을 비교한다.
• 전처리 및 데이터 증가(data augmentation)가 커널 대 신경망 성능에 미치는 영향을 평가한다.

제안 방법

• 인덱스 집합 B와 특징 공간 H를 갖는 특징 묶음 프레임워크를 정의한다(예: 이미지를 3D 색상 벡터의 묶음으로 간주).
• 묶음에 대해 커널 보존 연산 세 가지를 도입한다: 연결(concatenation), 다운샘플링(풀링), 임베딩(embedding).
• 각 연산에 대한 커널 계산을 도출하여 명시적 특징 맵 없이도 이미지 데이터로부터 정확한 커널 구성을 가능하게 한다.
• 입력 커널, 컨볼루션, 평균 풀링, ReLU 또는 가우시안 임베딩을 통해 연산을 이미지에 특화한다.
• 합성 커널을 Daniely 등과 Jacot 등에 따라 랜덤 피처를 사용한 기대값 계산과 깊이 방향 연쇄(depth-wise cascades)를 통해 신경망 아키텍처와 연결한다.

실험 결과

연구 질문

• RQ1 단순한 특징 공간 연산으로 구성된 합성 커널이 신경망과 NTK의 표현력을 근접시키는가?
• RQ2 커널 공간에서의 컨볼루션, 풀링, 비선형성이 신경망 대응과 어떻게 대응하는가?
• RQ3 Myrtle-계열 컨볼루션 커널이 CIFAR-10, CIFAR-100, MNIST에서 NTK와 CNN 대비 실증적 성능은 어떠한가?
• RQ4 전처리(ZCA 등)와 데이터 증강이 소규모 데이터 및 표준 데이터 구간에서 커널 대 신경망 성능에 어떤 영향을 미치는가?
• RQ5 이들 커널 구성은 대규모 데이터셋으로 확장될 수 있는가(그리고 계산상의 병목은 무엇인가)?

주요 결과

• 3×3 컨볼루션, 2×2 평균 풀링, ReLU를 갖는 간단한 네트워크가 SGD와 MSE 손실로 CIFAR-10에서 96% 정확도를 달성하는 반면, 해당 합성 커널은 90%에 도달한다.
• 같은 아키텍처 계열에서 CIFAR-10에서 합성 커널이 NTK보다 큰 차이로 우수하다.
• 적은 데이터 구간에서 합성 커널이 NTK를 능가하고, 신경망은 적절히 조정될 때 두 커널 방법을 모두 능가한다.
• MNIST에서 컨볼루션 커널과 네트워크는 비슷한 높은 정확도를 달성하며, 비컨볼루션 기초 방법들(NTK, arccosine, Gaussian)을 모두 앞선다.
• CIFAR-100에서 최상의 합성 커널은 증강 없이 CNN과 일치하거나, 증강 또는 BatchNorm을 적용하면 개선된다; 여기서는 CNN의 경우 cross-entropy 손실이 MSE보다 최적화가 더 쉬웠다.
• 90개의 UCI 데이터셋 전반에서 Gaussian 커널은 수정된 교차 검증 평가 프로토콜 하에서 NTK와 비슷하거나 더 잘 작동한다.