[논문 리뷰] Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity

Shuxiao Chen, Hangfeng He외 1명|arXiv (Cornell University)|2020. 01. 01.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 Hoeffding 분해를 통해 NTK에 레이블에 의존하는 성분을 통합함으로써 과다 매개변수화된 신경망에서 일반화 성능과 국소 탄력성(elasticity)을 향상시키기 위해 레이블 인식 신경 탄성 커널(LANTK)을 제안한다. 결과적으로 생성된 커널은 실제 신경망 행동을 시뮬레이션하는 데 있어 표준 NTK보다 뛰어나며, 신경망 학습 동역학과의 일치도가 더 높다.

ABSTRACT

As a popular approach to modeling the dynamics of training overparametrized neural networks (NNs), the neural tangent kernels (NTK) are known to fall behind real-world NNs in generalization ability. This performance gap is in part due to the extit{label agnostic} nature of the NTK, which renders the resulting kernel not as extit{locally elastic} as NNs~\citep{he2019local}. In this paper, we introduce a novel approach from the perspective of \emph{label-awareness} to reduce this gap for the NTK. Specifically, we propose two label-aware kernels that are each a superimposition of a label-agnostic part and a hierarchy of label-aware parts with increasing complexity of label dependence, using the Hoeffding decomposition. Through both theoretical and empirical evidence, we show that the models trained with the proposed kernels better simulate NNs in terms of generalization ability and local elasticity.

연구 동기 및 목표

• 신경 탄성 커널(NTK)과 실제 과다 매개변수화된 신경망 사이의 일반화 갭을 해결하기 위해.
• 표준 NTK가 레이블에 무관하다는 점이 국소 탄력성과 모델 적응 능력을 제한하므로 이를 극복하기 위해.
• 실제 신경망 학습 동역학을 더 잘 시뮬레이션할 수 있도록 레이블 인식 성분을 통합한 커널 프레임워크를 개발하기 위해.
• 표준 NTK와 비교해 일반화 성능 및 국소 탄력성 향상에 대한 이론적 및 실증적 검증을 수행하기 위해.

제안 방법

• Hoeffding 분해를 사용해 레이블에 의존하지 않는 성분과 레이블에 의존하는 성분을 분리하는 레이블 인식 커널 구성 방법을 제안한다.
• 레이블 의존성의 복잡도가 점차 증가하는 계층적 레이블 인식 성분을 설계하여 레이블 상호작용을 영리하게 모델링할 수 있도록 한다.
• 레이블에 의존하지 않는 NTK와 여러 수준의 레이블 인식 성분을 중첩하여 최종 LANTK를 구성한다.
• Hoeffding 분해를 사용해 각 레이블 인식 성분이 레이블에 대해 특정하고 구조화된 의존성을 잘 포착하도록 보장한다.
• 제안된 LANTK를 사용해 모델을 학습하고, 표준 NTK 및 실제 신경망과 비교해 일반화 성능과 국소 탄력성을 평가한다.
• 이론적 분석과 실증 평가를 수행해 실제 신경망 행동을 더 잘 시뮬레이션하는 데 성공함을 검증한다.

실험 결과

연구 질문

• RQ1 NTK에 레이블 인식 성분을 통합함으로써 과다 매개변수화된 네트워크에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 학습 과정에서 레이블 인식성이 커널의 국소 탄력성에 어떤 영향을 미치는가?
• RQ3 레이블 인식 성분의 계층적 구조가 표준 NTK에 비해 모델링 정밀도를 얼마나 향상시키는가?
• RQ4 제안된 LANTK는 레이블에 무관한 NTK보다 실제 신경망의 일반화 성능 및 인도크티브 편향을 더 잘 시뮬레이션하는가?
• RQ5 레이블 인식 성분의 성능 향상에 대한 이론적 근거는 무엇인가?

주요 결과

• 제안된 레이블 인식 커널은 분류 및 회귀 과제 모두에서 표준 NTK보다 뛰어난 일반화 성능을 보였다.
• LANTK로 학습된 모델은 실제 과다 매개변수화된 신경망의 행동과 더 밀접하게 일치하는 향상된 국소 탄력성을 보였다.
• 레이블 인식 성분의 계층적 구조는 복잡한 레이블 의존성을 더 잘 모델링할 수 있게 하여 커널의 표현력 향상을 이뤘다.
• 이론적 분석을 통해 레이블 인식 성분이 더 유연하고 적응 가능한 커널 구조를 만들어내는 데 기여한다는 것이 확인되었다.
• 실증 결과는 LANTK 모델이 표준 NTK보다 더 잘 일반화되며, 실제 신경망의 성능에 더 가까이 다가간다는 것을 보여주었다.