[논문 리뷰] On implicit regularization: Morse functions and applications to matrix factorization

Mohamed-Ali Belabbas|arXiv (Cornell University)|2020. 01. 13.

Sparse and Compressive Sensing Techniques참고 문헌 9인용 수 8

한 줄 요약

이 논문은 매트릭스 분해에서 암묵적 정규화를 위해 모스 이론과 동역학 시스템을 사용하는 새로운 프레임워크를 제안하며, 제약 행렬의 고유값 스펙트럼 갭이 클 경우 경사 하강 흐름이 낮은 질서의 해로 수렴함을 입증한다. 이는 [4]에서 제기된 추측을 '보수적인 스펙트럼' 영역에서 증명하며, 암묵적 정규화가 핵노름 최소화에 매우 가까이 근사함을 보이며, 이 영역 외부에서는 성능이 서서히 악화됨을 보인다.

ABSTRACT

In this paper, we revisit implicit regularization from the ground up using notions from dynamical systems and invariant subspaces of Morse functions. The key contributions are a new criterion for implicit regularization---a leading contender to explain the generalization power of deep models such as neural networks---and a general blueprint to study it. We apply these techniques to settle a conjecture on implicit regularization in matrix factorization.

연구 동기 및 목표

• 심층 학습에서 암묵적 정규화를 이해하기 위한 일반적인 이론적 프레임워크를 개발하기 위해 동역학 시스템과 모스 이론을 활용하는 것.
• [4]에서 제기된 매트릭스 분해에서의 암묵적 정규화 추측을 해결하기 위해, 경사 하강 흐름이 핵노름을 최소화하는 해로 수렴한다는 것을 입증하는 것.
• 암묵적 정규화가 명시적 핵노름 정규화와 유사해지는 조건을 규명하며, 특히 제약 행렬의 스펙트럼 성질에 초점을 맞추는 것.
• 스펙트럼 갭이 암묵적 정규화의 성공 여부를 결정하는 데 어떤 역할을 하는지 정량화하는 것.

제안 방법

• 논문은 원래 최적화 문제를 데이터 피팅을 측정하는 비용 함수 J(X)에 따라 진전되는 경사 하강 흐름의 미분방정식으로 공식화한다.
• 핵노름 기반 보조 정규화 문제를 도입하여, 경사 하강 흐름의 해가 이 정규화 문제의 최소화자와 일치하는 조건을 규명한다.
• 모스 이론을 활용해 비용 함수의 임계점과 안정 다변량을 분석하며, 흐름이 유일하고 낮은 질서의 해로 수렴하는 조건을 규명한다.
• 분석은 ∑A_i의 스펙트럼 갭이 크다는 조건을 만족할 때 암묵적 정규화가 성립하는 '보수적인 스펙트럼' 영역을 정의한다.
• 상대 오차와 스펙트럼 비율(λ₁ / ∑λᵢ)과 같은 성능 지표를 정의하여 낮은 질서의 해로의 수렴 정도를 정량적으로 평가한다.
• 임의의 행렬 A_i와 다양한 스펙트럼 갭 및 고유값 분산을 가진 수치 실험을 수행하여 암묵적 정규화의 강건성을 테스트한다.

실험 결과

연구 질문

• RQ1 매트릭스 분해에서 경사 하강 흐름이 [4]에서 제안한 바와 같이 낮은 질서의 해로 암묵적 정규화되는 조건는 무엇인가?
• RQ2 ∑A_i의 스펙트럼 갭은 경사 하강 흐름이 핵노름 최소화자로 수렴하는 데 어떤 영향을 미치는가?
• RQ3 ∑A_i의 고유값들이 서로 유사할 경우(즉, '보수적인 스펙트럼' 가정을 위반할 경우), 암묵적 정규화는 어느 정도 붕괴되는가?
• RQ4 '보수적인 스펙트럼' 조건이 위반되었을 때도 초기 조건 크기 δ → 0의 극한에서 여전히 암묵적 정규화가 유지되는가?
• RQ5 최종 해의 특이값은 암묵적 정규화의 성능과 어떻게 관련이 있는가?

주요 결과

• [4]에서 제기된 추측은 스펙트럼 갭이 충분히 큰 '보수적인 스펙트럼' 영역에서 참으로 증명된다.
• 스펙트럼 갭이 증가할수록 상대 오차는 급격히 감소하며, 스펙트럼 비율(λ₁ / ∑λᵢ)은 1에 수렴하여 질서가 1인 해로 수렴함을 나타낸다.
• ∑A_i의 낮은 고유값들이 거의 동일할 경우(예: λ₂, λ₃, λ₄ ∈ [1, 1+γ]), γ 증가에 비해 성능 저하가 매우 미미하여 작은 고유값 분산에 대해 강건함을 시사한다.
• '보수적인 스펙트럼' 가정을 위반하는 경우(예: 고유값 {1,1,2,2}), δ → 0일 때 상대 오차가 0으로 수렴하지 않아 암묵적 정규화가 실패함을 나타낸다.
• 수치 시뮬레이션은 암묵적 정규화가 스펙트럼 비율과 매우 높은 상관관계를 보이며, 이론적 프레임워크의 타당성을 검증한다.