[논문 리뷰] Directional convergence and alignment in deep learning

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|2020. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 14

한 줄 요약

이 논문은 깊이 있는 동질성 신경망에서 경사 하강 흐름이 무한대 방향으로 발산하는 가중치 성장에도 불구하고 방향으로 수렴함을 입증하며, 이는 예측, 마진 및 일반화와 관련된 양상의 수렴을 보장한다. 핵심 결과는 정의 가능한 함수에 대한 비구속 비미분 가능 Kurdyka-Łojasiewicz 부등식 이론을 새롭게 제안한 데 기반한다. 이 이론은 넓이 또는 초기화 조건 없이도 적용 가능하며, 오직 완벽한 분류 조건만 요구한다.

ABSTRACT

In this paper, we show that although the minimizers of cross-entropy and related classification losses are off at infinity, network weights learned by gradient flow converge in direction, with an immediate corollary that network predictions, training errors, and the margin distribution also converge. This proof holds for deep homogeneous networks -- a broad class of networks allowing for ReLU, max-pooling, linear, and convolutional layers -- and we additionally provide empirical support not just close to the theory (e.g., the AlexNet), but also on non-homogeneous networks (e.g., the DenseNet). If the network further has locally Lipschitz gradients, we show that these gradients also converge in direction, and asymptotically align with the gradient flow path, with consequences on margin maximization, convergence of saliency maps, and a few other settings. Our analysis complements and is distinct from the well-known neural tangent and mean-field theories, and in particular makes no requirements on network width and initialization, instead merely requiring perfect classification accuracy. The proof proceeds by developing a theory of unbounded nonsmooth Kurdyka-Łojasiewicz inequalities for functions definable in an o-minimal structure, and is also applicable outside deep learning.

연구 동기 및 목표

• 가중치가 발산함에도 불구하고 예측 표면의 불안정성과 일반화 문제에 대한 우려를 해결하기 위해.
• 특히 완벽한 분류 조건 하에서 최소한의 가정으로 네트워크 파라미터의 방향 수렴을 확립하기 위해.
• 경사가 국소적으로 리프시츠 연속일 경우 기울기와 시각화 지도의 수렴을 확장하기 위해.
• 너무 넓은 네트워크나 초기화의 미세 조정 없이도 신경 기저 또는 평균장 이론에 의존하지 않는 이론적 프레임워크를 제공하기 위해.

제안 방법

• o-미니멀 구조에서 정의 가능한 함수에 대한 비구속 비미분 가능 Kurdyka-Łojasiewicz(KŁ) 부등식 이론을 개발한다.
• 교차 엔트로피와 같은 비가역, 비볼록 손실 함수에 대해 클락 하위미분을 사용하여 경사 하강 흐름을 분석한다.
• L-양성 동차성과 정의 가능성 조건 하에서 정규화된 가중치 경로의 길이가 유한함을 증명함으로써 방향 수렴을 유도한다.
• KŁ 프레임워크를 적용하여 국소적으로 리프시츠 연속인 경우 기울기도 파라미터 경로로 방향 수렴함을 보이며, 이는 마진 최적화 및 시각화 지도 수렴을 가능하게 한다.
• 동질성(예: 수정된 AlexNet) 및 비동질성(예: DenseNet) 네트워크에서 방향 수렴을 실증적으로 검증한다.
• 측도 분할과 리프시츠 연속성을 활용하여 시간에 따른 마진 및 예측 값의 편차를 제한한다.

실험 결과

연구 질문

• RQ1 가중치가 무한대로 발산함에도 불구하고 깊이 있는 동질성 네트워크에서 경사 하강 흐름이 여전히 방향으로 수렴하는가?
• RQ2 넓은 네트워크나 초기화의 미세한 변동을 요구하지 않고도 방향 수렴을 확립할 수 있는가?
• RQ3 기울기가 국소적으로 리프시츠 연속일 경우 기울기도 방향으로 수렴하는가? 이는 마진 최적화에 어떤 영향을 미치는가?
• RQ4 이 이론은 스케일 연결이나 편향이 있는 네트워크와 같이 동질성 네트워크를 초월해 확장될 수 있는가?
• RQ5 이 제안된 KŁ 부등식 프레임워크는 신경 기저 이론 및 평균장 이론과 비교해 어떤 가정과 범위를 갖는가?

주요 결과

• 정규화된 가중치 경로 $ \frac{W_t}{\|W_t\|} $ 가 수렴함으로써 네트워크 파라미터의 방향 수렴이 유도된다.
• 예측 마진 $ \frac{y_i \Phi(x_i; W_t)}{\|W_t\|^L} $ 가 수렴함으로써 일반화와 관련된 양상의 안정성이 보장된다.
• 기울기가 국소적으로 리프시츠 연속일 경우 기울기도 파라미터 경로로 방향 수렴함을 보이며, 이는 시각화 지도 수렴 및 마진 최적화를 가능하게 한다.
• 이 이론은 ReLU, 최대 풀링, 선형 및 컨볼루션 레이어를 포함한 깊이 있는 네트워크에 적용 가능하며, 오직 동차성과 정의 가능성 조건만 요구한다.
• 실증 결과는 수정된 AlexNet과 같은 동질성 및 DenseNet과 같은 비동질성 아키텍처에서 모두 방향 수렴이 확인됨을 보여준다.
• 이 프레임워크는 신경 기저 이론 및 평균장 이론과 독립적이며, 오직 완벽한 분류 조건과 넓이 또는 초기화 제약 없이 적용 가능하다.