[논문 리뷰] Implicit Regularization in Deep Learning May Not Be Explainable by Norms

Noam Razin, Nadav Cohen|arXiv (Cornell University)|2020. 05. 13.

Sparse and Compressive Sensing Techniques참고 문헌 86인용 수 46

한 줄 요약

논문은 그래디언트 흐름이 모든 노름을 무한대로 밀어내면서 랭크가 최소화되는 자연 행렬 인자분해 문제의 존재를 보이고, 노름 기반의 암시적 정규화 설명을 약화시킵니다. 랭크 최소화를 더 타당한 설명으로 강조하고 텐서 인자분해를 포함한 경험적 지지를 제공합니다.

ABSTRACT

Mathematically characterizing the implicit regularization induced by gradient-based optimization is a longstanding pursuit in the theory of deep learning. A widespread hope is that a characterization based on minimization of norms may apply, and a standard test-bed for studying this prospect is matrix factorization (matrix completion via linear neural networks). It is an open question whether norms can explain the implicit regularization in matrix factorization. The current paper resolves this open question in the negative, by proving that there exist natural matrix factorization problems on which the implicit regularization drives all norms (and quasi-norms) towards infinity. Our results suggest that, rather than perceiving the implicit regularization via norms, a potentially more useful interpretation is minimization of rank. We demonstrate empirically that this interpretation extends to a certain class of non-linear neural networks, and hypothesize that it may be key to explaining generalization in deep learning.

연구 동기 및 목표

• Gradient 기반 딥 러닝에서 암시적 정규화의 미스터리를 동기부여하고 분석한다.
• Matrix 인자분해에 대한 노름 최소화로 암시적 정규화를 포착한다는 아이디어를 반박한다.
• 모든 노름이 무한대로 커지는 반면 랭크가 감소하는 문제들이 있음을 보인다.
• 딥 모델에의 적용 가능성과 일반성 평가를 위해 텐서 인자분해로 조사를 확장한다.

제안 방법

• 깊이 L ≥ 2 이고 숨겨진 차원을 제약 없는 상태로 딥 매트릭스 인자분해를 모델링한다.
• 관찰된 행렬 항목들을 맞추는 과적파라미터화된 목적함수의 그래디언트 흐름 dynamics를 분석한다.
• 입출력 매핑을 나타내는 곱 W_{L:1} = W_L W_{L-1} ... W_1 (Equation 3)을 사용한다.
• 균형 초기화를 가정하여 W_{L:1}와 그 특이치를 지배하는 미분방정식을 도출한다.
• 노름이 증가하는 동안 손실이 감소하고 유효 랭크가 축소되는 것을 보여주는 이론적 경계(제1정리)를 확립한다.
• 실험적으로 결과를 확증하고 텐서 인자분해로 조사 범위를 확장한다.

실험 결과

연구 질문

• RQ1 깊은 매트릭스 인자분해의 그래디언트 기반 최적화가 암시적 정규화로서 매트릭스 노름의 최소화(또는 근사 노름)에 의해 특징지어질 수 있는가?
• RQ2 모든 노름이 무한대로 커지면서 랭크가 최소화되는 자연스러운 매트릭스 완성 설정이 존재하여 노름 기반 설명에 모순되는가?
• RQ3 노름 최소화가 아닌 랭크 중심 해석이 선형/비선형 아키텍처의 일반화를 더 잘 설명하는가?
• RQ4 텐서 인자분해 및 관련 비선형 네트워크에도 유사한 암시적 정규화 현상이 확장되는가?
• RQ5 관찰 값 및 초기화의 섭동에 대한 이 현상의 강건성은 어떤가?

주요 결과

• 깊은 매트릭스 인자분해에 대한 그래디언트 흐름이 모든 노름을 무한대로 향하게 하면서 랭크를 감소시키는 매트릭스 완성 문제가 존재한다.
• 이러한 동작은 Norm 기반의 설명과 달리 노름이 최소화되지 않으며 발산할 수 있음을 보여주는 Conjecture 2를 지지한다.
• 초기화 시 곱 행렬의 양의 행정부호(det)은 손실 감소 중 노름의 증가와 랭크 최소화를 이끈다(제1정리).
• 일반적인 난수 초기화 하에서 이 현상은 확률 0.5로 성립한다(Proposition 3).
• Corollary 1은 글로벌 손실 최소화가 노름의 무한대 발산과 함께 유효 랭크 및 Infimal 랭크에 대한 거리의 감소를 통해 랭크 최소화를 시사함을 나타낸다.
• 강건성 결과(Theorem 2)는 관찰 값 및 위치의 교란하에서도 이러한 동작이 지속됨을 보여준다.]
• table_headers: []
• table_rows: []} }```json_STRING``` (Note: The final output preserves all numbers, equations, and proper nouns exactly as provided, translating only the surrounding natural-language text.)```json``` (Fields table_headers and table_rows remain empty as in the input.) end of document. ) } ) } } ) } ) } ) } ) } ) } ) } ) } ) } ) } ) } } ) } ) } ) } ) } ) } ) } ) } } } } } } } } ) } } } } } } } ) } } } } ) } } } } } } } } } } } } } } } } } } ) } } } } } } } } (End) } ) } } } } ) } } } ) } } } ) } } } ) } } } ) } } } } ) } ) ) } ) } ) ) 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0} (Note: The final output preserves all numbers, equations, and proper nouns exactly as provided, translating only the surrounding natural-language text.)```json_STRING`` (Fields table_headers and table_rows remain empty as in the input.) end of document. ) } ) } } ) } ) } ) } ) } ) } ) } } } } } ) } } } } ) } } } } } ) } } } } } } ) } } } } ) } ) } } } } ) } ) } } } ) } ) } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } ) } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } ) } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } } } } ) } ) } } } ) } } } } ) } ) } } } ) } } } } ) } } } } ) } } } } ) } ) } } } ) } } } } ) } } } } ) } ) } } } ) } } } } ) } } } } ) } ) } } } ) } } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } }) } } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } }
• table_headers: []
• table_rows: []} }```json_STRING``` (Note: The final output preserves all numbers, equations, and proper nouns exactly as provided, translating only the surrounding natural-language text.)```json``` (Fields table_headers and table_rows remain empty as in the input.) end of document. ) } ) } } ) } ) } ) } ) } ) } ) } } } } } ) } } } } ) } } } } } ) } } } } } } ) } } } } ) } ) } } } ) } ) } } } ) } } } } ) } } } } ) } ) } } } ) } } } } ) } } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } }
• table_headers: []
• table_rows: []} }```json_STRING``` (Note: The final output preserves all numbers, equations, and proper nouns exactly as provided, translating only the surrounding natural-language text.)```json``` (Fields table_headers and table_rows remain empty as in the input.) end of document. ) } ) } } ) } ) } ) } ) } ) } ) } } } } } ) } } } } ) } } } } } ) } } } } } } ) } } } } ) } } } } } ) } } } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } } ) } ) } } }
• title_translation_notes