[논문 리뷰] Implicit Bias of Gradient Descent on Linear Convolutional Networks

Suriya Gunasekar, Jason D. Lee외 2명|arXiv (Cornell University)|2018. 06. 01.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 39

한 줄 요약

이 논문은 깊이 있는 선형 컨볼루션 네트워크에서 경사하강법이 주파수 도메인에서 ℓ₂/L 브릿지 페널티를 최소화하는 해를 향한 암묵적 편향을 유도함을 보여준다. 네트워크의 깊이가 증가할수록 이 페널티의 희소성 강도가 증가한다. 반면, 완전 연결 선형 네트워크는 깊이에 관계없이 항상 ℓ₂ 최대 마진 해를 향한 암묵적 편향을 보인다.

ABSTRACT

We show that gradient descent on full-width linear convolutional networks of depth $L$ converges to a linear predictor related to the $\ell_{2/L}$ bridge penalty in the frequency domain. This is in contrast to linearly fully connected networks, where gradient descent converges to the hard margin linear support vector machine solution, regardless of depth.

연구 동기 및 목표

• 다양한 아키텍처를 가진 오버파rameterized 선형 모델에서 경사하강법의 암묵적 편향을 이해한다.
• 파라미터화 방식(완전 연결 대비 컨볼루션)이 선형 모델에서 최적화의 인덕티브 편향에 미치는 영향을 조사한다.
• 깊이 있는 선형 컨볼루션 네트워크에서 경사하강법이 유도하는 암묵적 정규화를 특성화한다.
• 선형 분류의 맥락에서 선형 컨볼루션 네트워크와 완전 연결 네트워크의 암묵적 편향을 비교한다.
• 네트워크 깊이가 컨볼루션 아키텍처에서 경사하강법의 암묵적 편향을 어떻게 형성하는지 분석한다.

제안 방법

• 다중 전체 폭 컨볼루션과 마지막 완전 연결 레이어로 구성된 선형 컨볼루션 네트워크를 수식적으로 기술한다.
• 학습된 선형 예측기의 푸리에 변환을 사용하여 암묵적 편향을 분석하고, ‖β̂‖₂/L 페널티를 최소화하는 해로 수렴함을 보인다.
• 주파수 도메인 분석을 통해 경사하강법이 컨볼루션 네트워크에 유도하는 암묵적 정규화를 특성화한다.
• 깊이-L 선형 컨볼루션 네트워크에서 경사하강법이 주파수 도메인에서 ℓ₂/L-정규화된 최적화 문제의 정류점으로 수렴함을 증명한다.
• 다른 파라미터화 방식에서 동일한 최적화 문제를 분석함으로써 컨볼루션 네트워크와 완전 연결 네트워크의 암묵적 편향을 비교한다.
• 충분한 오버파라미터화와 경사하강법의 전역 최소값 수렴을 가정하며, 수렴 속도보다는 수렴 방향에 집중한다.

실험 결과

연구 질문

• RQ1 동일한 모델 용량을 가진 완전 연결 네트워크와 선형 컨볼루션 네트워크에서 경사하강법의 암묵적 편향은 어떻게 다를까?
• RQ2 깊이 L인 선형 컨볼루션 네트워크에서 경사하강법이 유도하는 암묵적 정규화는 무엇인가?
• RQ3 선형 컨볼루션 네트워크의 깊이 L이 경사하강법의 암묵적 편향에 어떻게 영향을 미치는가?
• RQ4 선형 컨볼루션 네트워크에서 경사하강법은 주파수 도메인에서 희소인 해를 선호하는가?
• RQ5 선형 컨볼루션 네트워크에서 경사하강법의 암묵적 편향은 원래 공간에서의 최대 마진 해와 어떻게 비교되는가?

주요 결과

• 깊이 L인 선형 컨볼루션 네트워크에서 경사하강법은 주파수 도메인에서 ℓ₂/L 브릿지 페널티를 최소화하는 해로의 암묵적 편향을 유도한다.
• 네트워크 깊이 L이 증가할수록 이 편향이 점점 더 희소성 유도 성향을 띠며, L이 증가함에 따라 정규화 강도가 ℓ₂에서 ℓ₁으로 감소한다.
• 반면, 어떤 깊이이든 완전 연결 선형 네트워크는 항상 ℓ₂ 최대 마진 해로 수렴한다.
• 두 아키텍처 모두 보편적인 선형 예측기이지만, 선형 컨볼루션 네트워크에서 경사하강법의 암묵적 편향은 완전 연결 네트워크와 근본적으로 다르다.
• 해의 수렴 방향은 주파수 도메인에서 ℓ₂/L-정규화된 문제의 정류점으로 수렴하며, 이는 주파수 도메인의 희소성 유도에 강력한 인덕티브 편향이 있음을 시사한다.
• 모든 국소 최소값이 전역 최소값인 오버파라미터화 설정에서 경사하강법이 훈련 손실을 점차 최소화한다고 가정할 때 분석이 성립한다.