[논문 리뷰] Implicit Regularization Towards Rank Minimization in ReLU Networks

Nadav Timor, Gal Vardi외 1명|arXiv (Cornell University)|2022. 01. 30.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 ReLU 신경망에서의 암묵적 정규화를 조사하며, 깊이가 얕은 ReLU 네트워크(예: 깊이-2, 너비-2)에서는 경량 흐름(GF)이 질량 최소화를 유도하지 않지만, 특정 조건 하에 더 깊고 오버파rameterized된 네트워크에서는 그러한 성질을 보임을 보여준다. 주요 결과로는, 깊은 ReLU 네트워크에서 GF는 스펙트럴 노름 대 프로베니우스 노름 비율을 작게 하고 마진 최대화 경향을 보이며, 이로 인해 낮은 랭크의 가중치 행렬을 선호함을 입증한다.

ABSTRACT

We study the conjectured relationship between the implicit regularization in neural networks, trained with gradient-based methods, and rank minimization of their weight matrices. Previously, it was proved that for linear networks (of depth 2 and vector-valued outputs), gradient flow (GF) w.r.t. the square loss acts as a rank minimization heuristic. However, understanding to what extent this generalizes to nonlinear networks is an open problem. In this paper, we focus on nonlinear ReLU networks, providing several new positive and negative results. On the negative side, we prove (and demonstrate empirically) that, unlike the linear case, GF on ReLU networks may no longer tend to minimize ranks, in a rather strong sense (even approximately, for "most" datasets of size 2). On the positive side, we reveal that ReLU networks of sufficient depth are provably biased towards low-rank solutions in several reasonable settings.

연구 동기 및 목표

• ReLU 네트워크에서 경량 흐름(GF)이 선형 네트워크에서 관찰되는 것처럼 낮은 랭크의 가중치 행렬을 향한 암묵적 정규화를 일으키는지 조사하는 것.
• 비선형 ReLU 네트워크에서 GF가 낮은 랭크 해를 선호하는 조건, 특히 오버파라미터화된 설정에서의 조건을 규명하는 것.
• 랭크 최소화가 실패하는 얕은 ReLU 네트워크에서의 GF 행동과 랭크 최소화가 성립하는 더 깊은 네트워크에서의 GF 행동을 대조하는 것.
• 이진 분류에서의 마진 최대화와 깊은 ReLU 네트워크에서의 랭크 최소화 사이의 공식적 연결 고리를 규명하는 것.
• 다양한 네트워크 아키텍처와 학습 목표 하에서 랭크 최소화 편향의 존재 또는 부재를 이론적이고 경험적으로 입증하는 것.

제안 방법

• 제곱 손실을 사용하는 깊이-2, 너비-2 ReLU 네트워크에서 경량 흐름의 역학을 분석하며, 입력 각도가 (π/2, π)에 있고 출력이 일차독립일 경우 GF가 낮은 랭크 해로 수렴하지 않음을 증명한다.
• 가중치 행렬이 균형 잡힌 깊은 ReLU 네트워크의 구성법을 도입하여, 노름과 랭크 행동을 GF 하에서 분석한다.
• 제곱 손실로 학습하는 깊은 ReLU 네트워크에서 GF가 가중치 행렬의 평균 스펙트럴 대 프로베니우스 노름 비율이 1에 가까워지는 해로 수렴함을 증명한다. 이는 안정적 랭크 최소화를 시사한다.
• 지수 꼬리 손실로 학습하는 깊은 ReLU 네트워크에서 마진 최대화가 랭크 최소화를 암시함을 보이며, 가중치 행렬이 낮은 랭크일 때 마진이 최대화됨을 보여준다.
• AM-GM 부등식과 노름 균형 분석을 활용하여 스펙트럴 대 프로베니우스 비율의 하한을 도출하며, 노름 최소화와 랭크 최소화의 연결 고리를 규명한다.
• 이론적 결과를 경험적으로 검증하며, 얕은 네트워크에서는 랭크 최소화 실패, 더 깊은 네트워크에서는 성공을 확인한다.

실험 결과

연구 질문

• RQ1 제곱 손실로 학습하는 깊이-2, 너비-2 ReLU 네트워크에서 경량 흐름이 낮은 랭크의 가중치 행렬을 향한 암묵적 정규화를 일으키는가?
• RQ2 더 깊은 ReLU 네트워크에서 GF가 어떤 조건에서 낮은 랭크 해를 선호하는가, 특히 오버파라미터화된 설정에서의 조건은 무엇인가?
• RQ3 이진 분류에서의 마진 최대화와 깊은 ReLU 네트워크에서의 랭크 최소화 사이에 공식적인 연결 고리가 존재하는가?
• RQ4 ReLU 네트워크에서 GF의 암묵적 편향은 안정적 랭크 최소화로 특징지어질 수 있으며, 이는 어떤 가정 하에서 성립하는가?
• RQ5 ReLU 네트워크의 깊이와 너비는 GF가 낮은 랭크의 가중치 행렬을 생성하는 경향에 어떤 영향을 미치는가?

주요 결과

• 제곱 손실로 학습하는 깊이-2, 너비-2 ReLU 네트워크에서 입력 각도가 (π/2, π)에 있고 출력이 일차독립일 경우, GF는 낮은 랭크 해로 수렴하지 않는다.
• 경험적으로, 이러한 얕은 네트워크에서 GF는 합리적인 근사 랭크 측정 기준 하에 적어도 일정 확률로 낮은 랭크 해를 생성하지 못한다.
• 제곱 손실로 학습하는 깊은 ReLU 네트워크에서 GF는 가중치 행렬의 평균 스펙트럴 대 프로베니우스 노름 비율이 1에 가까워지는 해로 수렴하며, 이는 안정적 랭크 최소화를 시사한다.
• 지수 꼬리 손실로 학습하는 깊은 ReLU 네트워크에서 마진 최대화는 랭크 최소화를 암시하며, 가중치 행렬이 낮은 랭크일 때 마진이 최대화됨을 보여준다.
• 이론적 분석을 통해 깊은 네트워크에서의 노름 최소화가 낮은 안정적 랭크로 이어지며, 이 성질은 균형 잡힌 가중치 행렬 구성에서도 유지됨을 보여준다.
• 이 논문은 깊고 오버파라미터화된 ReLU 네트워크가 낮은 랭크 해를 향한 암묵적 편향을 보임을 규명한다. 이는 얕은 네트워크에서는 성립하지 않는다.