[논문 리뷰] On the Inductive Bias of Neural Tangent Kernels

Alberto Bietti, Julien Mairal|arXiv (Cornell University)|2019. 05. 28.

Neural Networks and Applications참고 문헌 45인용 수 31

한 줄 요약

이 논문은 과다 파rameter화된 신경망에서 신경 토너먼트 커널(NTK)의 인덕티브 바이어스를 분석한다. 특히 ReLU 기반의 컨볼루션 신경망을 대상으로 하며, NTK 매핑이 리프시츠 연속성은 갖지 못하나 더 약한 헬더 스무쓰니스 성질을 만족함으로써 입력 변형에 대해 안정성을 확보함을 보여준다. 또한 NTK의 RKHS는 유리한 고유값 감쇠 특성을 지녀 표준 ReLU 함수 클래스보다 뛰어난 근사 성질을 지닌다.

ABSTRACT

State-of-the-art neural networks are heavily over-parameterized, making the optimization algorithm a crucial ingredient for learning predictive models with good generalization properties. A recent line of work has shown that in a certain over-parameterized regime, the learning dynamics of gradient descent are governed by a certain kernel obtained at initialization, called the neural tangent kernel. We study the inductive bias of learning in such a regime by analyzing this kernel and the corresponding function space (RKHS). In particular, we study smoothness, approximation, and stability properties of functions with finite norm, including stability to image deformations in the case of convolutional networks, and compare to other known kernels for similar architectures.

연구 동기 및 목표

• 과다 파rameter화된 신경망에서 경사 하강법의 인덕티브 바이어스를 신경 토너먼트 커널(NTK)을 통해 이해하기 위해.
• ReLU 기반의 두 층 및 컨볼루션 네트워크에 대해 NTK에 의해 유도된 함수 공간(RKHS)의 스무쓰니스 및 안정성 특성들을 규명하기 위해.
• NTK의 RKHS의 근사 능력이, 단일 층 학습 또는 가우시안 프로세스 근사에서 유도된 다른 함수 클래스들과 비교하여 어떻게 되는지 분석하기 위해.
• 임의의 패치 및 풀링 연산을 갖는 컨볼루션 네트워크에 대해 계층적 트리 구조의 커널 특징 매핑을 유도하기 위해.

제안 방법

• 일반적인 선형 패치 추출 및 풀링을 갖는 컨볼루션 네트워크에 대한 NTK를 유도하며, 재귀적 커널 조합을 사용한다.
• 층별 내적 커널과 활성화 함수를 기반으로 한 계층적 트리 구조의 특징 매핑을 통해 커널 매핑을 표현한다.
• 헬더 연속성을 통한 스무쓰니스 분석을 수행하며, 매핑이 리프시츠 연속성이 아니지만 더 약한 헬더 조건을 만족함을 보여준다.
• 구면 조화 함수 분해를 사용하여 두 층 ReLU NTK의 RKHS를 특성화하고 고유값 감쇠율을 연구한다.
• 이미지 입력에 대한 전체 NTK를 계산하기 위해 C++에서 동적 프로그래밍을 구현하여 RKHS 거리의 수치적 평가를 가능하게 한다.
• MNIST 데이터셋에서 제어된 변형(이동, 소규모 회전, 부드러운 왜곡)을 적용한 수치 실험을 수행하여 RKHS 노름에서의 안정성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 ReLU 컨볼루션 네트워크의 NTK 매핑은 커널 방법에서 변형 안정성에 대해 알려진 리프시츠 연속성을 만족하는가?
• RQ2 NTK 커널 매핑의 스무쓰니스 클래스는 무엇인가(예: 헬더, 리프시츠), 그리고 이는 입력 변형에 대한 안정성에 어떻게 영향을 주는가?
• RQ3 NTK의 RKHS 근사 성질은, 마지막 층만 학습한 경우나 ReLU 네트워크의 가우시안 프로세스 근사에서 유도된 다른 함수 클래스들과 비교하여 어떻게 되는가?
• RQ4 두 층 ReLU 케이스에서 NTK 커널의 스펙트럼 감쇠 행동은 어떠한가, 그리고 이는 함수의 정규성과 근사 속도와 어떻게 관련되는가?
• RQ5 NTK의 계층적 구조는 각 층의 커널 특징 매핑을 사용하여 재귀적으로 표현할 수 있는가?

주요 결과

• ReLU 네트워크의 NTK 매핑은 리프시츠 연속성이 아니지만 지수 값이 1보다 작은 헬더 스무쓰니스 조건을 만족한다.
• 리프시츠 연속성이 없음에도 불구하고, 헬더 성질에 기반한 정량적 보장 덕분에 NTK 매핑은 입력 변형에 대해 안정적이다.
• 두 층 ReLU NTK의 RKHS는 표준 ReLU 함수 클래스보다 고유값 감쇠가 더 빠르게 나타나, 리프시츠 함수에 대해 더 뛰어난 근사 성질을 지닌다.
• NTK의 근사 성능은 마지막 층만 학습한 경우나 ReLU 네트워크의 가우시안 프로세스 근사에서 유도된 함수 클래스보다 뛰어나다.
• 수치 실험 결과, 다른 커널들과 비교해 NTK의 RKHS 노름이 변형에 대해 더 천천히 증가함을 확인하여 이론적 안정성 주장에 대한 지지를 받는다.
• NTK의 계층적 구조는 다중 척도 표현을 포착할 수 있는 재귀적 트리 구조의 커널 특징 매핑을 가능하게 한다.