[논문 리뷰] Implicit Regularization in Deep Learning: A View from Function Space.

Aristide Baratin, Thomas George외 5명|arXiv (Cornell University)|2020. 08. 03.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 훈련 중 태스크 관련 방향을 따라 신경 기울기 특징의 기하학적 정렬을 기반으로 한 딥 네ural 네트워크의 새로운 복잡도 측도를 제안한다. 선형 모델에서의 Rademacher 복잡도를 분석하고 이를 탄성 커널 클래스의 시퀀스로 확장함으로써, 이 역동적 정렬에서 유래하는 암묵적 정규화가 어떻게 나타나는지 밝혀내며, 딥 러닝에서 일반화에 대한 함수 공간적 시각을 제공한다.

ABSTRACT

We approach the problem of implicit regularization in deep learning from a geometrical viewpoint. We highlight a possible regularization effect induced by a dynamical alignment of the neural tangent features introduced by Jacot et al, along a small number of task-relevant directions. By extrapolating a new analysis of Rademacher complexity bounds in linear models, we propose and study a new heuristic complexity measure for neural networks which captures this phenomenon, in terms of sequences of tangent kernel classes along in the learning trajectories.

연구 동기 및 목표

• 함수 공간에 초점을 맞춘 기하학적 시각을 통해 딥 러닝에서의 암묵적 정규화를 이해하기 위해.
• 태스크 관련 방향을 따라 신경 기울기 특징의 정렬이 일반화에 어떻게 기여하는지 규명하기 위해.
• 훈련 중 탄성 커널 클래스의 진화를 포괄하는 새로운 히우리스틱 복잡도 측도를 개발하기 위해.
• 선형 모델에서의 Rademacher 복잡도 분석을 딥 네트워크의 커널 클래스 궤적까지 확장하기 위해.
• 스티ochastic Gradient Descent가 왜 복잡도가 낮은 해를 선호하는지에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 훈련 궤적을 따라 발생하는 탄성 커널 클래스의 시퀀스를 기반으로 한 새로운 복잡도 측도를 제안한다.
• 기하학적 해석을 통한 특징 정렬을 사용하며, 네트워크의 암묵적 인덕티브 바이어스는 몇몇 주요 방향에 대한 정렬에서 유래한다.
• 선형 모델에서의 Rademacher 복잡도 경계를 적응하여, 커널 진화를 통한 딥 네트워크의 일반화 능력을 분석한다.
• 학습 동역학을 각각 훈련 궤적의 한 점에 대응하는 커널 클래스의 시퀀스로 모델링한다.
• 태스크 관련 방향을 따라 신경 기울기 특징의 정렬을 분석하여 암묵적 정규화의 정도를 정량화한다.
• 각 훈련 단계에서 탄성 커널의 특이값과 방향에 대한 함수로 복잡도 측도를 수식화한다.

실험 결과

연구 질문

• RQ1 태스크 관련 방향을 따라 신경 기울기 특징의 정렬이 딥 네럴 네트워크의 일반화에 어떻게 영향을 미치는가?
• RQ2 탄성 커널 시퀀스 기반의 복잡도 측도는 SGD 훈련에서의 암묵적 정규화 효과를 효과적으로 포착할 수 있는가?
• RQ3 특징 정렬의 기하학적 구조는 명시적 가중치 감소를 초월하여 일반화를 어떻게 설명하는가?
• RQ4 선형 모델에서의 Rademacher 복잡도 경계는 딥 네트워크의 커널 클래스 궤적까지 어떻게 확장되는가?
• RQ5 탄성 커널의 역동적 진화가 딥 러닝 모델의 인덕티브 바이어스를 형성하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 복잡도 측도는 소수의 태스크 관련 방향을 따라 신경 기울기 특징의 정렬을 통해 암묵적 정규화 효과를 효과적으로 포착한다.
• 분석 결과 일반화는 최종 모델 뿐 아니라 탄성 커널 클래스의 시퀀스에 의해 규정됨을 드러낸다.
• 특징의 기하학적 정렬은 훈련 중 가설 공간의 유효 복잡도를 감소시킨다.
• 이 방법은 SGD가 과도하게 파rameter화된 상태에서도 잘 일반화되는 이유에 대한 이론적 설명을 제공한다.
• 복잡도 측도는 네트워크 궤적에 민감하여 최적화 동역학이 일반화에 중요한 역할을 한다는 점을 강조한다.
• 결과는 암묵적 정규화가 가중치 감소나 초기화만으로는 설명되지 않는, 탄성 커널 진화의 내재 기하학적 구조에서 기인한다는 것을 시사한다.