[논문 리뷰] Deep Neural Network Training with Frank-Wolfe

Sebastian Pokutta, Christoph Spiegel외 1명|arXiv (Cornell University)|2020. 10. 14.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 제약된 가중치 파ram을 가진 딥 네ural 네트워크를 훈련시키기 위해 확률적 Frank-Wolfe 알고리즘을 사용함으로써, 비용이 많이 드는 투영 단계를 피하는 방법을 제안한다. 선형 최소화 오ракูล을 활용함으로써, L2- 또는 Linfty-노름 구역과 같은 적절한 볼록 타당 영역이 존재할 경우, Frank-Wolfe 훈련이 표준 SGD를 초월하고 L2 정규화와 동등한 최상의 성능을 달성함을 보여주며, 동시에 모델의 희소성과 학습된 표현을 제어할 수 있다.

ABSTRACT

This paper studies the empirical efficacy and benefits of using projection-free first-order methods in the form of Conditional Gradients, a.k.a. Frank-Wolfe methods, for training Neural Networks with constrained parameters. We draw comparisons both to current state-of-the-art stochastic Gradient Descent methods as well as across different variants of stochastic Conditional Gradients. In particular, we show the general feasibility of training Neural Networks whose parameters are constrained by a convex feasible region using Frank-Wolfe algorithms and compare different stochastic variants. We then show that, by choosing an appropriate region, one can achieve performance exceeding that of unconstrained stochastic Gradient Descent and matching state-of-the-art results relying on $L^2$-regularization. Lastly, we also demonstrate that, besides impacting performance, the particular choice of constraints can have a drastic impact on the learned representations.

연구 동기 및 목표

• 제약된 파ram을 가진 딥 네ural 네트워크를 훈련시키기 위해 투영 자유 확률적 Frank-Wolfe 방법의 타당성과 효율성을 조사하는 것.
• 일반화성과 성능 측면에서 표준 확률적 경사하강법(SGD) 및 적응형 방법과의 비교를 위해 확률적 Frank-Wolfe 변종을 평가하는 것.
• 볼록 타당 영역의 선택이 모델의 일반화성, 희소성 및 학습된 표현에 미치는 영향을 분석하는 것.
• 제약된 Frank-Wolfe 훈련이 L2 정규화를 사용한 SGD의 성능을 따라하거나 초월할 수 있음을 보여주는 것.
• 재현성과 향후 연구를 지원하기 위해 텐서플로우 및 파이토치에서 오픈소스 구현을 제공하는 것.

제안 방법

• 이 방법은 모멘텀을 적용한 확률적 Frank-Wolfe(SFW)를 사용하며, 제약 최적화에서 투영 단계를 선형 최소화 오라클(LMO) 호출로 대체한다.
• 각 반복 단계에서 LMO는 $ v_t = \arg\min_{v \in \mathcal{C}} \langle \tilde{\nabla}L(\theta_t), v \rangle $ 를 풀며, 여기서 $ \mathcal{C} $ 는 볼록하고 컴acts한 타당 영역이다.
• 파aram는 $ \theta_{t+1} = \theta_t + \alpha (v_t - \theta_t) $ 를 통해 업데이트되며, 볼록 조합을 통해 타당성이 유지된다.
• 특히 $ \mathcal{C} $ 가 구조화되어 있을 경우(예: L2-구, Linfty-구, K-희소 다각형), 효율적인 LMO를 통해 비용이 많이 드는 투영을 피할 수 있다.
• 모든 하이퍼파ram는 공정한 비교를 위해 MNIST, CIFAR-10, CIFAR-100, ImageNet에서 완전히 연결된 네트워크와 컨볼루션 네트워크에 적용되었으며, 적절히 튜닝되었다.
• 저자들은 실용적 수렴성을 향상시키기 위해 ORGFW와 SPIDER-FW에서 영감을 얻은 모멘텀 및 분산 감소 기법을 사용하였다.

실험 결과

연구 질문

• RQ1 파aram이 볼록 타당 영역에 제약될 경우, 확률적 Frank-Wolfe 알고리즘이 딥 네ural 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 표준 SGD 및 가중치 감소가 적용된 SGD와 비교해 봤을 때, Frank-Wolfe 훈련의 성능는 표준 벤치마크에서 어떻게 나타나는가?
• RQ3 타당 영역의 선택이 모델의 희소성 및 학습된 표현의 구조에 얼마나 큰 영향을 미치는가?
• RQ4 명시적인 L2 정규화 없이도 Frank-Wolfe 훈련이 최상의 성능을 달성할 수 있는가?
• RQ5 L2, Linfty 또는 희소 다각형에 대한 다양한 LMO가 훈련 동역학과 일반화에 어떤 영향을 미치는가?

주요 결과

• L2-노름 제약이 적용된 Frank-Wolfe 훈련은 CIFAR-10 및 ImageNet에서 표준 SGD를 초월하고, L2 정규화가 적용된 SGD와 동등한 테스트 정확도를 달성한다.
• 파aram이 Linfty-노름 구역에 제약될 경우, 가중치 감소 없이도 SFW가 표준 SGD를 능가함을 확인하였으며, 이는 제약 자체가 정규화 효과를 유도함을 시사한다.
• K-희소 다각형에 제약된 네트워크는 훈련 중 활성 파aram이 크게 감소함을 보여주며, 타당 영역 선택을 통해 희소성을 유도할 수 있음을 입증한다.
• 학습된 가중치의 시각화 결과, L2-구나 희소 다각형과 같은 다양한 타당 영역은 특징 활성화 패턴이 근본적으로 다른 학습된 표현을 유도함을 보여준다.
• L2- 및 Linfty-노름 제약의 경우 효율적인 LMO 덕분에 SFW의 런타임 성능가 표준 SGD와 유사하여, 이 방법이 계산적으로 실현 가능함을 입증하였다.
• 저자들은 텐서플로우 및 파이토치에서 오픈소스 구현을 공개하여 재현성과 제약된 딥 러닝 분야의 향후 연구를 지원하였다.