[논문 리뷰] On the Implicit Bias of Initialization Shape: Beyond Infinitesimal Mirror Descent

Shahar Azulay, Edward Moroshko외 5명|arXiv (Cornell University)|2021. 02. 19.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 7

한 줄 요약

이 논문은 무한소 미러 강하(Infinitesimal Mirror Descent, IMD)의 한계를 넘어, 초과파rameter화된 신경망에서 경사 하강의 암묵적 편향을 분석하기 위해 초기화의 형태—특히 층 간 가중치의 상대적 척도—를 고려하는 새로운 방법을 제안한다. 다양한 아키텍처, 즉 연결되지 않은 대각선 네트워크, 완전 연결된 두 층으로 구성된 네트워크, 단일 ReLU 뉴런에 대해 닫힌 형태의 암묵적 정규화자를 도출하며, 초기화 형태가 일반화 행동을 결정하는 데 핵심적인 역할을 함을 드러낸다.

ABSTRACT

Recent work has highlighted the role of initialization scale in determining the structure of the solutions that gradient methods converge to. In particular, it was shown that large initialization leads to the neural tangent kernel regime solution, whereas small initialization leads to so called "rich regimes". However, the initialization structure is richer than the overall scale alone and involves relative magnitudes of different weights and layers in the network. Here we show that these relative scales, which we refer to as initialization shape, play an important role in determining the learned model. We develop a novel technique for deriving the inductive bias of gradient-flow and use it to obtain closed-form implicit regularizers for multiple cases of interest.

연구 동기 및 목표

• 층 간 가중치의 상대적 척도(초기화 형태)가 초과파rameter화된 모델에서 경사 하강의 인덕티브 편향에 어떻게 영향을 미치는지 이해하기.
• 실제로 복잡한 비트ivial한 아키텍처에서 암묵적 편향을 기술하지 못하는 무한소 미러 강하(IMD)의 한계를 극복하기.
• 이전 기법이 실패하는 다층 및 비선형 네트워크를 포함한 모델에서 정확한 암묵적 정규화자를 유도할 수 있는 일반화 가능한 프레임워크 개발하기.
• 초기화 형태가 특정 해에 수렴하는 데 미치는 영향, 특히 NTK 및 '풍부한' 영역을 초월한 영역에서의 역할 탐구하기.
• 두 층으로 구성된 완전 연결 네트워크와 ReLU 네트워크와 같은 더 복잡하고 실용적인 딥러닝 아키텍처로 암묵적 편향 이론을 확장하기.

제안 방법

• 암묵적 편향을 유지하면서 모델 동역학을 무한소 미러 강하(IMD)로 표현할 수 있도록 재매개변수화하는 새로운 기법 도입.
• 비선형적 '시간 왜곡' 변환을 사용해 원래의 동역학을 IMD 프레임워크로 매핑함으로써 암묵적 정규화자를 유도.
• 해의 경로에 영향을 주지 않으면서도 재표현이 가능한 매개변수화의 자유도를 식별.
• 특정 아키텍처에 대해 닫힌 형태의 암묵적 정규화자를 도출하기 위해 이 방법을 적용: 연결되지 않은 대각선 네트워크, 초기화가 0에 수렴하는 완전 연결된 두 층 선형 네트워크, 단일 누설 ReLU 뉴런.
• KKT 조건과 쌍대성(duality)을 사용해 최종 해가 제약 조건 하에 정규화된 목표 함수를 최소화함을 보임.
• 핵심 초기화 파라미터인 척도(α), 형태(s), 균형성(δ)을 정의하고, 이들이 상호관계를 가지며 암묵적 편향을 기술하는 데 기여함을 유도.

실험 결과

연구 질문

• RQ1 층 간 가중치의 상대적 척도(초기화 형태)가 딥 네트워크에서 경사 하강의 암묵적 편향에 어떻게 영향을 미치는가?
• RQ2 실제로 복잡한 비트ivial한 아키텍처에서 무한소 미러 강하 프레임워크를 넘어서 경사 유도의 암묵적 편향을 기술할 수 있는가?
• RQ3 초기화가 0에 수렴하는 두 층 완전 연결 선형 네트워크의 정확한 암묵적 정규화자는 무엇인가?
• RQ4 특정 초기화 형태를 가진 단일 누설 ReLU 뉴런에서 경사 유도의 암묵적 편향은 어떻게 변화하는가?
• RQ5 제안된 방법이 이전 IMD 기반 접근법이 실패하는 모델에서 닫힌 형태의 정규화자를 도출할 수 있는가?

주요 결과

• 논문은 초기화 형태—단지 척도를 넘어서—딥러닝에서 경사 하강의 인덕티브 편향을 결정하는 데 결정적인 역할을 한다고 규명한다.
• 연결되지 않은 대각선 네트워크의 경우, 암묵적 편향은 초기화 형태에 따라 달라지는 정규화된 목표 함수를 최소화하는 것으로 나타났다.
• 초기화가 0에 수렴하는 두 층 완전 연결 선형 네트워크에서는 해가 층 간 초기화 척도의 상대 비율을 반영하는 정규화된 노름을 최소화함을 보였다.
• 단일 누설 ReLU 뉴런의 경우, 암묵적 편향은 비볼록적이며 비연속적인 정규화된 목표 함수를 최소화하는 해로 이어지며, 최적 해는 KKT 조건을 만족함을 보였다.
• 유도된 암묵적 정규화자는 닫힌 형태이며, 척도(α), 형태(s), 균형성(δ)과 같은 초기화 파라미터에 명시적으로 의존하며, 이들이 대수적 항등식을 통해 상호관계가 있음을 입증함.
• 시간 왜곡을 통한 재매개변수화를 통해 이전에 IMD로는 분석이 어려웠던 표준 두 층 ReLU 네트워크와 같은 모델에서도 암묵적 편향을 성공적으로 기술함.