[논문 리뷰] Every Model Learned by Gradient Descent Is Approximately a Kernel Machine

Pedro Domingos|arXiv (Cornell University)|2020. 11. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 49

한 줄 요약

이 논문은 gradient descent로 학습된 모든 모델이 경로 커널을 사용한 커널 머신으로 대략적으로 나타나며, 이를 통해 심층 네트워크를 커널 방법으로 해석 가능하게 만든다.

ABSTRACT

Deep learning's successes are often attributed to its ability to automatically discover new representations of the data, rather than relying on handcrafted features like other learning methods. We show, however, that deep networks learned by the standard gradient descent algorithm are in fact mathematically approximately equivalent to kernel machines, a learning method that simply memorizes the data and uses it directly for prediction via a similarity function (the kernel). This greatly enhances the interpretability of deep network weights, by elucidating that they are effectively a superposition of the training examples. The network architecture incorporates knowledge of the target function into the kernel. This improved understanding should lead to better learning algorithms.

연구 동기 및 목표

• 경사 하강으로 학습된 심층 네트워크가 왜 커널 머신처럼 동작하는지 이해를 고무한다.
• 최종 모델이 경로 커널을 갖는 커널 머신으로 표현될 수 있음을 보인다.
• 그라디언트 공간에서 훈련 예시들의 중첩으로서의 심층 네트워크 해석 가능성의 함의를 설명한다.

제안 방법

• 학습 중 그래디언트 흐름의 기초로 접선 커널과 경로 커널을 정의한다.
• 학습률이 0으로 갈 때 최종 모델이 경로 커널을 갖는 커널 머신과 같다는 것을 도출한다.
• 최종 모형을 y = sum_i a_i K(x, x_i) + b 로 표현하는데, 여기서 K는 경로 커널이다.
• 그 결과를 신경 접선 커널(neural tangent kernels)과 관련시키고 경로 적분 하에서 양의 정의성을 보인다.
• 경사 하강이 접선 커널의 순차적 시퀀스에 대한 부스팅처럼 작용하는지 논의한다.

실험 결과

연구 질문

• RQ1 데이터 의존 커널을 가진 커널 머신으로 gradient descent로 학습된 모든 모델을 표현할 수 있는가?
• RQ2 학습 경로와 가중치 그래디언트를 바탕으로 커널이 어떻게 정의되는가?
• RQ3 심층 네트워크를 커널 머신으로 보는 것의 해석 가능성과 확장성에 미치는 함의는 무엇인가?
• RQ4 이 관점이 신경 접선 커널(neural tangent kernels) 및 기존 커널 이론과 어떤 관련이 있는가?
• RQ5 작은 학습률이 아닌 경우나 비-그라디언트 기반 방법에 대한 한계와 미해결 질문은 무엇인가?

주요 결과

• 경사 하강은 경로 커널을 갖는 근사적으로 커널 머신인 모델을 산출한다.
• 경로 커널은 학습 경로를 따라 그래디언트의 내적을 적분한다.
• 최종 모형은 사전 모델의 합과 훈련 데이터에 의존하는 커널 기반 보정으로 구성된다.
• 선형 모델의 경우 경로 커널은 점곱으로 축소되며 커널 머신으로서 퍼셉트론을 되찾는다.
• 정규화와 손실의 도함수가 커널을 통해 훈련 예시에 가중치를 부여하여 그 영향력을 좌우한다.
• 이 결과는 가중치를 그래디언트 공간에서 훈련 예시의 중첩으로 보여줌으로써 해석 가능성을 제공한다.