[논문 리뷰] Explicit regularization and implicit bias in deep network classifiers trained with the square loss

Tomaso Poggio, Qianli Liao|arXiv (Cornell University)|2020. 12. 31.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 7

한 줄 요약

이 논문은 제곱 손실로 훈련된 딥 ReLU 네트워크의 이론적 분석을 제공하며, 배치 정규화(BN)와 가중치 감소(WD)가 함께 작용할 경우 최소 노름 해에 대한 편향을 유도하는 명시적 정규화를 유도함을 보여준다. 이는 최대 마진과 향상된 일반화를 갖는 해로 경향을 보인다. BN과 WD가 없을 경우, 작은 초기화로부터 유도되는 암묵적 편향 역시 여전히 고마진 해를 선호하므로, 훈련 손실이 0임에도 일반화가 가능하다는 점을 설명한다.

ABSTRACT

Deep ReLU networks trained with the square loss have been observed to perform well in classification tasks. We provide here a theoretical justification based on analysis of the associated gradient flow. We show that convergence to a solution with the absolute minimum norm is expected when normalization techniques such as Batch Normalization (BN) or Weight Normalization (WN) are used together with Weight Decay (WD). The main property of the minimizers that bounds their expected error is the norm: we prove that among all the close-to-interpolating solutions, the ones associated with smaller Frobenius norms of the unnormalized weight matrices have better margin and better bounds on the expected classification error. With BN but in the absence of WD, the dynamical system is singular. Implicit dynamical regularization -- that is zero-initial conditions biasing the dynamics towards high margin solutions -- is also possible in the no-BN and no-WD case. The theory yields several predictions, including the role of BN and weight decay, aspects of Papyan, Han and Donoho's Neural Collapse and the constraints induced by BN on the network weights.

연구 동기 및 목표

• 제곱 손실로 훈련된 딥 ReLU 네트워크가 훈련 손실이 0임에도 불구하고 일반화가 잘 되는 이유를 고전적 일반화 이론과는 정면으로 배치되는 바를 설명하는 것.
• 이러한 네트워크에서 양호한 테스트 성능을 이끌어내는 메커니즘—명시적 및 암묵적 정규화—를 규명하는 것.
• 배치 정규화(BN), 가중치 감소(WD), 그리고 작은 초기화가 최적화 역학과 일반화에 미치는 역할을 명확히 하는 것.
• 최적화 역학을 Neural Collapse 현상과 연결하고 수렴 시 가중치 행렬에 가해지는 제약 조건을 도출하는 것.

제안 방법

• 정규화된 가중치 행렬의 단위 프로베니우스 노름 제약 조건을 부여하는 라그랑주 승수를 사용한 수정된 제곱 손실에서의 그래디언트 플로우 역학을 분석한다.
• BN과 WD의 영향을 제약 최적화 문제로 모델링하며, 라그랑주 승수 ν가 동적 정규화 요소로 작용함을 설명한다.
• 스케일 요소 ρ와 정규화된 가중치 행렬 V_k로 네트워크를 분해함으로써, 노름과 마진 간의 상충 관계를 분석한다.
• 비판점에서 ∂f(x_j)/∂V_k = V_k f(x_j) 조건이 성립할 조건을 유도하며, 이는 Neural Collapse과 가중치 행렬 제약 조건과 연결된다.
• BN+WD와 BN 없음/WD 없음 케이스를 비교하여, 전자가 초기화에 대해 더 강건한 반면 후자는 작은 초기 ρ에 의존하는 암묵적 편향에 의존함을 보여준다.
• 이론적 결과를 실제 훈련에 적용하여, 초기화에 의존하는 수렴 행동과 정규화의 역할을 예측한다.

실험 결과

연구 질문

• RQ1 배치 정규화와 가중치 감소가 제곱 손실로 훈련된 딥 네트워크에서 최소 노름, 고마진 해를 유도하는 방식은 무엇인가?
• RQ2 BN과 WD가 없을 경우, 작은 초기화가 일반화 가능한 해로 향하는 암묵적 편향을 어떻게 유도하는가?
• RQ3 제약 조건이 부여된 손실 함수에서의 그래디언트 플로우 역학은 오버파라미터화된 네트워크에서 Neural Collapse가 어떻게 나타나는지를 설명하는가?
• RQ4 BN과 WD가 없을 경우 초기화에 따라 수렴이 달라지는 이유는 무엇이며, 이는 일반화에 어떤 영향을 미치는가?
• RQ5 최적화 역학의 비판점이 가중치 행렬의 구조에 가해지는 제약 조건은 무엇인가?

주요 결과

• BN과 WD가 있을 경우, 그래디언트 플로우는 전역 최소 노름 해로 수렴하며, 이는 최대 마진을 가지며 기대 분류 오차에 대한 가장 좋은 유계를 제공한다.
• 비정규화된 가중치 행렬의 프로베니우스 노름 ρ는 마진과 반비례한다: ρ가 작을수록 마진이 크고 일반화 성능이 향상된다.
• BN과 WD가 없을 경우, 여전히 작은 초기화가 고마진 해를 향한 암묵적 편향을 유도하지만, 수렴은 초기 조건에 매우 민감하게 의존한다.
• 비판점에서 ∂f(x_j)/∂V_k = V_k f(x_j) 조건이 성립하며, 이는 Neural Collapse의 핵심 요소—클래스 평균과 특징의 붕괴—를 설명한다.
• 제약 손실에서의 라그랑주 승수 ν는 동적 정규화 요소로 작용하며, 각 V_k를 단위 구면에 제약하여 훈련을 안정화시킨다.
• BN은 가중치 행렬을 정규화할 뿐 아니라 각 행을 별도로 정규화하므로, 표준 가중치 정규화보다 더 강력한 제약 조건을 부과한다.