[논문 리뷰] Quantifying the Benefit of Using Differentiable Learning over Tangent Kernels

Eran Malach, Pritish Kamath외 2명|arXiv (Cornell University)|2021. 03. 01.

Neural Networks and Applications참고 문헌 21인용 수 4

한 줄 요약

이 논문은 신경망과 같은 미분 가능한 모델에서 경사하강법이 탄젠트 커널(NTK)이 랜덤 추측보다 유의미한 이점이 없을지라도 낮은 테스트 오차를 달성할 수 있음을 보여준다—이전의 가정과는 정반대이다. 핵심 통찰은 편향된 초기화를 통해 경사하강법은 커널 방법이 실패하는 상황에서도 성공할 수 있으며, 이는 비볼록 최적화와 커널 기반 접근법 간의 학습 능력에 근본적인 차이가 있음을 시사한다.

ABSTRACT

We study the relative power of learning with gradient descent on differentiable models, such as neural networks, versus using the corresponding tangent kernels. We show that under certain conditions, gradient descent achieves small error only if a related tangent kernel method achieves a non-trivial advantage over random guessing (a.k.a. weak learning), though this advantage might be very small even when gradient descent can achieve arbitrarily high accuracy. Complementing this, we show that without these conditions, gradient descent can in fact learn with small error even when no kernel method, in particular using the tangent kernel, can achieve a non-trivial advantage over random guessing.

연구 동기 및 목표

• 미분 가능한 모델에서의 경사하강법이 해당 탄젠트 커널이 랜덤 추측보다 비현저한 이점이 없는 경우(즉, 랜덤 추측보다 비현저한 승리가 없는 경우)에도 성공할 수 있는지 조사하는 것.
• 경사하강법의 성공 여부가 NTK가 비현저한 승리(즉, 랜덤 추측보다 비현저한 승리)를 확보하는 데 의존하는지, 특히 다양한 초기화 방법에서 그러한 의존성이 있는지 확인하는 것.
• 입력 분포에 대한 지식이 경사하강법이 커널 방법이 실패하는 상황에서 성공할 수 있도록 하는 데 어떤 역할을 하는지 검토하는 것.
• 특히 분포 독립적 학습 설정에서, 미분 가능한 학습이 커널 기반 학습을 초월하는 조건을 명확히 하는 것.
• 편향된 초기화가 경사하강법이 복잡한 함수를 학습할 수 있도록 해주며, 이는 NTK를 포함한 어떤 커널 방법도 비현저한 승리를 달성할 수 없는 상황임을 입증하는 것.

제안 방법

• 경사하강법이 신경망에서 임의로 낮은 오차를 달성하는 반면, 초기화 시점의 NTK가 랜덤 추측보다 비현저한 승리가 거의 없는 인위적인 학습 문제를 구성한다.
• 정리 1에서, 비편향된 초기화(즉, 초기화 시 출력이 0인 경우) 하에서는 경사하강법이 성공할 수 있으려면 NTK가 랜덤 추측보다 다항적으로 유 bounds된 승리가 있어야 한다고 증명한다.
• 입력 분포에 의존하는 랜덤 초기화 방법을 도입하여, 이 초기화에서 기대값으로 NTK가 경사하강법 성공 시 비현저한 승리를 달성함을 보여준다.
• 정리 2를 사용하여, 제곱 손실의 경우, 어떤 초기화에서든 경사하강법이 성공한다면, 입력 분포에 의존하는 랜덤 초기화가 존재하여 그 지점에서 NTK가 비현저한 승리를 달성함을 보여준다.
• 편향된 초기화의 역할을 분석하기 위해, 경사하강법이 편향된 초기화에서 성공하는 반면, 어떤 커널 방법(NTK 포함)도 비현저한 승리를 달성하지 못하는 반례를 구성한다.
• 두 층의 ReLU 네트워크를 사용하여 이론적 결과를 실증적으로 검증하며, 경사하강법이 커널 방법이 실패할 때도 복잡한 함수(예: 패리티 유사 함수)를 학습할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 미분 가능한 모델에서의 경사하강법이 해당 탄젠트 커널이 랜덤 추측보다 비현저한 이점이 없을 때도 함수를 학습할 수 있는가?
• RQ2 경사하강법의 성공 여부가 NTK가 비현저한 승리를 확보하는 데 의존하는가, 특히 비편향된 초기화에서 그러한 의존성이 있는가?
• RQ3 분포 독립적 학습 설정에서 경사하강법이 성공할 수 있는가, 즉 어떤 커널 방법도 비현저한 승리를 달성할 수 없는 상황에서 성공할 수 있는가?
• RQ4 입력 분포 지식이 경사하강법이 커널 기반 방법을 능가하도록 하는 데 어떤 역할을 하는가?
• RQ5 초기화 편향은 경사하강법의 학습 능력과 커널 방법의 학습 능력 간의 관계에 어떻게 영향을 미치는가?

주요 결과

• NTK가 랜덤 추측보다 비현저한 승리가 거의 없는 경우에도 경사하강법은 임의로 낮은 오차를 달성할 수 있으며, 이는 미분 가능한 학습과 커널 기반 학습 간의 엄격한 분리 현상을 보여준다.
• 비편향된 초기화(즉, 초기화 시 출력이 0인 경우) 하에서는 정리 1에서처럼 NTK가 랜덤 추측보다 다항적으로 유 bounds된 승리가 있어야만 경사하강법이 성공할 수 있다.
• 편향된 초기화를 사용할 경우, NTK를 포함한 어떤 커널 방법도 비현저한 승리를 달성하지 못하는 상황에서도 경사하강법이 성공할 수 있으며, 이는 제5장에서 보여진다.
• 제곱 손실의 경우, 어떤 초기화에서든 경사하강법이 성공한다면, 입력 분포에 의존하는 랜덤 초기화가 존재하여 그 지점에서 NTK가 비현저한 승리를 달성함을 정리 2에서 증명하였다.
• 랜덤 초기화에서 NTK의 성공을 위해 입력 분포에 의존하는 초기화가 필요하다는 요구는 커널 방법과 경사하강법 간의 입력 분포의 구조를 활용하는 방식에 근본적인 차이를 보여준다.
• 두 층의 ReLU 네트워크를 사용한 실증 결과는 경사하강법이 커널 방법이 실패할 때도 복잡한 함수(예: 패리티)를 학습할 수 있음을 확인하며, 특히 상관관계를 통해 관련 특징을 식별할 수 있을 때 더욱 뚜렷하다.