[논문 리뷰] Implicit Regularization via Neural Feature Alignment

Aristide Baratin, Thomas George외 5명|arXiv (Cornell University)|2020. 08. 03.

Sparse and Compressive Sensing Techniques참고 문헌 59인용 수 6

한 줄 요약

이 논문은 딥 러닝에서의 암묵적 정규화가 학습 기간 동안 작업에 관련된 방향으로 신경 탄성 특징이 역학적으로 정렬됨으로써 발생한다고 제안한다. 이는 특징 선택 및 압축 메커니즘의 조합으로 작용한다. 탄성 커널의 스펙트럼과 클래스 레이블의 정렬을 통한 기하학적 및 기능적 분석을 통해, 기존 방법보다 일반화와 더 강한 상관관계를 가지는 히우리스틱 복잡도 측정법을 제안한다.

ABSTRACT

We approach the problem of implicit regularization in deep learning from a geometrical viewpoint. We highlight a regularization effect induced by a dynamical alignment of the neural tangent features introduced by Jacot et al, along a small number of task-relevant directions. This can be interpreted as a combined mechanism of feature selection and compression. By extrapolating a new analysis of Rademacher complexity bounds for linear models, we motivate and study a heuristic complexity measure that captures this phenomenon, in terms of sequences of tangent kernel classes along optimization paths.

연구 동기 및 목표

• 과다 파rameter화된 딥 뉴럴 네트워크에서 일반화를 가능하게 하는 암묵적 정규화 메커니즘을 이해하는 것.
• 학습 기간 동안 신경 탄성 특징의 기하학이 어떻게 변화하고 모델 용량에 영향을 미치는지 조사하는 것.
• 탄성 커널 정렬을 기반으로 한 새로운 히우리스틱 복잡도 측정법을 제안하여 일반화 성능을 더 잘 예측하는 것.

제안 방법

• 기능 클래스 상에서 메트릭 텐서로 사용되는 신경 탄성 특징의 중심화되지 않은 공분산을 분석하여 피셔 정보 메트릭과 유사하게 다룸.
• 탄성 커널의 스펙트럼 분해를 사용하여 최적화 기간 동안 주성분이 작업에 관련된 방향으로 어떻게 정렬되는지 추적함.
• 중심화된 커널 정렬(CKA)을 통해 탄성 커널 스펙트럼의 이방성과 레이블 커널과의 정렬을 기반으로 한 히우리스틱 복잡도 측정법을 도입함.
• 탄성 커널 역학을 통해 선형 모델의 라데마처 복잡도 분석을 비선형 설정으로 확장함.
• 보류된 테스트 세트를 사용하여 MLP, VGG19, ResNet18 등의 아키텍처와 MNIST, CIFAR10 등의 데이터셋에서 정렬 역학을 실증적으로 평가함.
• 깊이, 학습률, 레이블 손상 등의 요소에 대한 추론 실험을 통해 정렬 효과의 강인성과 일반성을 검증함.

실험 결과

연구 질문

• RQ1 신경 탄성 특징의 스펙트럼 이방성과 클래스 레이블 정렬 측면에서 학습 기간 동안 어떻게 진화하는가?
• RQ2 탄성 특징의 역학적 정렬이 암묵적 정규화의 한 형태로 작용하는 정도는 어느 정도인가?
• RQ3 탄성 커널 정렬을 기반으로 한 새로운 히우리스틱 복잡도 측정법이 기존 측정법보다 일반화 성능을 더 잘 예측할 수 있는가?
• RQ4 정렬 현상은 다양한 아키텍처, 데이터셋, 학습 하이퍼파라미터 간에도 지속되는가?
• RQ5 깊이가 학습 기간 동안 특징 정렬의 시작 시점과 강도에 어떤 영향을 미치는가?

주요 결과

• 2D Disk 데이터셋에서 초기화 시 1차 고유값 대비 20번째 고유값의 비율이 1.5%에서 2000개의 반복 후 0.2%로 감소함으로써 탄성 커널의 스펙트럼이 학습 기간 동안 점점 더 이방성이 커짐.
• 탄성 커널의 상위 고유함수는 데이터의 구조적 패턴, 예를 들어 Disk 데이터셋의 원형 경계와 같은 작업에 관련된 특징을 포착함으로써 작업에 관련된 특징과의 정렬을 나타냄.
• 모든 아키텍처와 데이터셋에서 탄성 커널과 레이블 커널 간의 중심화된 커널 정렬(CKA)이 학습 기간 동안 크게 증가함으로써 목표 함수와의 점차 증가하는 정렬을 보여줌.
• 제안된 히우리스틱 복잡도 측정법이 스펙트럼 노름, 프로베니우스 노름, 파라미터 노름과 같은 기존 측정법보다 일반화 성능과 더 강한 상관관계를 보임.
• 더 깊은 네트워크는 정렬 증가가 지연되지만 더 두드러진 증가를 보이며, 쉬운 예제와 어려운 예제 간의 정렬 비율도 더 높게 나타나 깊이가 암묵적 정규화 효과를 증폭시킴을 시사함.
• 커널이 중심화되지 않은 경우에도 정렬 효과가 지속됨을 확인하여, 이는 중심화의 산물이 아니라 탄성 특징 역학의 강인한 성질임을 입증함.